[논문 리뷰] Mismatched Guesswork

Salman Salamatian, Litian Liu외 2명|arXiv (Cornell University)|2019. 07. 01.

Algorithms and Data Compression참고 문헌 23인용 수 4

한 줄 요약

이 논문은 진짜 분포 $\mu$ 대신 오차가 있는 분포 $\nu$ 를 사용하여 추측을 평가할 때의 대칭 이심 원리(LDP)를 제안한다. 이는 점점 커지는 추측의 비율이 진짜 분포 $\mu$ 를 기울인 가족 $\mathcal{T}_{\nu}$ 에 투영한 분포의 엔트로피에 의해 결정됨을 보여주며, 일대일 소스 코딩이 접두사 없는 코딩보다 오차에 더 강건하며, 진짜 분포 $\mu$ 가 오차 분포 $\nu$ 의 기울인 가족에 포함될 때에만 성능 손실이 사라진다.

ABSTRACT

We study the problem of mismatched guesswork, where we evaluate the number of symbols $y \in \mathcal{Y}$ which have higher likelihood than $X \sim μ$ according to a mismatched distribution $ν$. We discuss the role of the tilted/exponential families of the source distribution $μ$ and of the mismatched distribution $ν$. We show that the value of guesswork can be characterized using the tilted family of the mismatched distribution $ν$, while the probability of guessing is characterized by an exponential family which passes through $μ$. Using this characterization, we demonstrate that the mismatched guesswork follows a large deviation principle (LDP), where the rate function is described implicitly using information theoretic quantities. We apply these results to one-to-one source coding (without prefix free constraint) to obtain the cost of mismatch in terms of average codeword length. We show that the cost of mismatch in one-to-one codes is no larger than that of the prefix-free codes, i.e., $D(μ\| ν)$. Further, the cost of mismatch vanishes if and only if $ν$ lies on the tilted family of the true distribution $μ$, which is in stark contrast to the prefix-free codes. These results imply that one-to-one codes are inherently more robust to mismatch.

연구 동기 및 목표

• 추측에 사용되는 분포가 진짜 소스 분포와 다를 때의 추측의 대칭 이심 행동을 분석하기 위해.
• 기울인 가족의 기하학적 성질을 이용하여 오차가 있는 추측의 점근적 성장률을 특성화하기 위해.
• 결과를 일대일 소스 코딩에 적용하고, 접두사 없는 코딩과의 오차에 대한 강건성 비교를 위해.
• 소스 코딩에서 오차의 비용이 사라지는 조건을 규명하기 위해.

제안 방법

• 진짜 분포 $\mu$ 와 오차 분포 $\nu$ 의 기울인(지수) 가족을 사용하여, 이 가족들 위에 투영된 기하학적 성질을 활용한다.
• LDP의 비용 함수는 기울인 가족 $\mathcal{T}_{\nu}$ 위의 분포와 진짜 분포 $\mu$ 사이의 상대 엔트로피를 이용해 암묵적으로 특성화된다.
• 기울인 가족 $\mathcal{T}_{\nu}$ 에 대한 변분 최적화를 통해 점근적 추측 성장률을 유도하며, 이는 투영된 분포의 엔트로피와 연결된다.
• 코드어 길이와 추측값 사이의 대응 관계를 통해 추측과 일대일 소스 코딩을 연결하고, LDP 결과를 직접 적용할 수 있도록 한다.
• 오차가 있는 일대일 코딩에서의 신뢰도 함수와 평균 코드어 길이는 L’Hôpital의 정리와 극한 분석을 통해 추측의 LDP로부터 유도된다.
• 최적의 일대일 코드가 $g_{\mu}(x^n) \leq l(f^*_{\nu}(x^n)) < g_{\mu}(x^n)+1$ 을 만족함을 이용하여, 추측 결과를 코딩 성능으로 옮길 수 있음을 증명한다.

실험 결과

연구 질문

• RQ1 추측에 사용되는 분포가 진짜 소스 분포와 다를 때, 추측의 대칭 이심 행동은 어떻게 변화하는가?
• RQ2 오차가 있는 추측의 점근적 성장률은 무엇이며, 이는 어떤 정보이론적 양으로 특성화되는가?
• RQ3 일대일 소스 코딩에서 오차의 성능 손실은 접두사 없는 코딩과 비교해 어떻게 되는가?
• RQ4 일대일 소스 코딩에서 오차의 비용이 사라지는 조건은 무엇인가?
• RQ5 오차가 있는 일대일 코딩에서의 신뢰도 함수와 평균 코드어 길이는 추측의 LDP로 표현될 수 있는가?

주요 결과

• 오차가 있는 추측은 기울인 가족 $\mathcal{T}_{\nu}$ 에 속한 분포와 진짜 분포 $\mu$ 사이의 상대 엔트로피를 통해 암묵적으로 정의된 비용 함수를 가진 대칭 이심 원리(LDP)를 만족한다.
• 오차가 있는 추측의 점근적 성장률은 $H(\Pi_{\mathcal{T}_{\nu}}(\mu))$ 로 주어지며, 이는 진짜 분포 $\mu$ 가 기울인 가족 $\mathcal{T}_{\nu}$ 에 투영된 분포의 엔트로피이다.
• 오차가 있는 일대일 소스 코딩에서의 평균 코드어 길이는 $L(\nu\|\mu) = H(\Pi_{\mathcal{T}_{\nu}}(\mu))$ 로 주어지며, 이는 항상 접두사 없는 코딩의 해당 길이보다 작거나 같다.
• 일대일 코딩에서 오차의 비용은 $D(\mu\|\nu)$, 즉 진짜 분포와 오차 분포 사이의 KL 발산에 의해 상한선으로 제한되며, 접두사 없는 코딩보다 엄밀히 작다.
• 오차의 성능 손실은 $\mu$ 가 $\nu$ 의 기울인 가족 $\mathcal{T}_{\nu}^{+}$ 에 포함될 때에만 사라진다.
• 오차가 있는 일대일 코딩의 신뢰도 함수는 $E(R,\nu\|\mu) = J(R)$ 로 주어지며, 이는 추측에 대해 유도된 LDP 비용 함수와 정확히 일치하여, 추측과 코딩 성능 사이의 밀접한 연결을 확인한다.