[논문 리뷰] On Reverse Pinsker Inequalities

Igal Sason|arXiv (Cornell University)|2015. 03. 24.

Sparse and Compressive Sensing Techniques참고 문헌 23인용 수 12

한 줄 요약

이 논문은 유한 집합 위의 확률 측도에 대해 총 변동 거리로 표현된 상대 엔트로피와 레니의 산란을 상한으로 제시하는 새로운 역 핀스커 부등식을 유도한다. 버두, 츄지르-탈라타, 지라르도니의 기존 결과를 개선하여 가능성이 비율의 본질적 최대값과 $ f $-산산 기법을 사용해 더 날카운 부등식을 도입하였으며, 정보 이론과 통계에의 적용을 수반한다.

ABSTRACT

New upper bounds on the relative entropy are derived as a function of the total variation distance. One bound refines an inequality by Verdú for general probability measures. A second bound improves the tightness of an inequality by Csiszár and Talata for arbitrary probability measures that are defined on a common finite set. The latter result is further extended, for probability measures on a finite set, leading to an upper bound on the Rényi divergence of an arbitrary non-negative order (including $\infty$) as a function of the total variation distance. Another lower bound by Verdú on the total variation distance, expressed in terms of the distribution of the relative information, is tightened and it is attained under some conditions. The effect of these improvements is exemplified.

연구 동기 및 목표

• 유한 집합 위의 확률 측도에 대해 상대 엔트로피의 총 변동 거리에 대한 더 날카운 상한을 유도하는 것.
• 버두, 츄지르-탈라타, 지라르도니의 기존 역 핀스커 유형 부등식을 개선하고 정교화하는 것.
• 유한 지지 조건 하에서 임의의 음이 아닌 순서에 대한 레니 산산에 대한 분석을 확장하는 것.
• 버두가 상대 정보 분포 기반으로 제시한 총 변동 거리에 대한 하한을 특정 조건 하에서 더욱 날카운 것으로 개선하는 것.

제안 방법

• 가능성 비율의 본질적 최대값 $ \beta_1^{-1} = \sup_a \frac{dP}{dQ}(a) $을 사용하여 정교화된 역 핀스커 부등식을 유도하여 버두의 결과를 향상시킨다.
• 볼록성 조건 하에서 $ f $-산산 이론을 적용하여 $ D_f(P||Q) $, $ D_g(P||Q) $, $ \chi^2(P,Q) $를 포함하는 일반 부등식을 도출하며, $ g(t) = -t f(t) $이다.
• 가중 측도를 고려한 $ f $-산산의 젠센 유형 정밀화 기법을 사용하여 $ \log(1 + \chi^2(P,Q)) $와 $ D(P||Q) $의 차이를 근사한다.
• 일반 부등식을 $ f(t) = -\log t $에 적용하여 $ \chi^2(P,Q) $와 총 변동 거리로 표현된 $ D(P||Q) $ 및 $ D(Q||P) $에 대한 날카운 상한을 도출한다.
• 모든 순서 $ \alpha \in [0,\infty] $에 대해 레니 산산에 대한 역 핀스커 부등식을 유도하며, $ Q_{\min} $, 즉 $ Q $ 하에서의 최소 확률로 매개변수화한다.
• 특정 부등식 (35)에 대한 간단한 증명을 $ f $-산산 항등식과 볼록성 논증을 통해 제공한다.

실험 결과

연구 질문

• RQ1 가능성 비율의 본질적 최대값을 사용하여 버두의 역 핀스커 부등식을 더욱 날카운 것으로 개선할 수 있는가?
• RQ2 유한 확률 측도에 대해 총 변동 거리로 표현된 츄지르-탈라타의 상대 엔트로피 부등식은 어떻게 개선될 수 있는가?
• RQ3 임의의 순서 $ \alpha \in [0,\infty] $에 대해 총 변동 거리로 표현된 레니 산산에 대한 가장 날카운 상한은 무엇인가?
• RQ4 상대 정보 분포 기반으로 버두가 제시한 총 변동 거리 하한은 특정 조건 하에서 더욱 날카운 것으로 개선될 수 있는가?
• RQ5 $ \log(1 + \chi^2(P,Q)) $, $ D(P||Q) $, $ D(Q||P) $ 사이의 정확한 관계는 무엇이며, $ f $-산산 항등식을 통해 어떻게 근사할 수 있는가?

주요 결과

• 새로운 역 핀스커 부등식이 도출됨: $ \frac{1}{2}|P - Q| \geq \left( \frac{1 - \beta_1}{\log \frac{1}{\beta_1}} \right) D(P||Q) $, 여기서 $ \beta_1 = \sup_a \frac{dP}{dQ}(a) $이며, 이는 버두의 결과를 향상시킨다.
• 츄지르-탈라타의 부등식 $ D(P||Q) \leq \left( \frac{\log e}{Q_{\min}} \right) |P - Q|^2 $는 최대 가능성 비율에 대한 의존성을 도입함으로써 개선되어 더 정확한 상한이 된다.
• 모든 순서 $ \alpha \in [0,\infty] $에 대해, 레니 산산에 대한 상한이 유도됨: $ D_\alpha(P||Q) \leq \left( \frac{\log e}{Q_{\min}} \right) |P - Q|^2 $, 이는 유한 확률 공간에서 유효하다.
• 새로운 부등식이 증명됨: $ \min_a \frac{P(a)}{Q(a)} \cdot D_f(P||Q) \leq -D_g(P||Q) - f(1 + \chi^2(P,Q)) \leq \max_a \frac{P(a)}{Q(a)} \cdot D_f(P||Q) $, 여기서 $ g(t) = -t f(t) $이며, 볼록 함수 $ f $ 이며 $ f(1) = 0 $이다.
• 특히 $ f(t) = -\log t $일 경우, $ D(Q||P) \leq \log(1 + \chi^2(P,Q)) - D(P||Q) \leq D(Q||P) $가 도출되며, 이 상한은 최소 및 최대 가능성 비율에 따라 달라진다.
• 버두의 총 변동 거리 하한이 개선됨: $ |P - Q| \geq \mathbb{E}[|1 - \exp(-i_{P||Q}(X))|] $, 등호 조건이 규명됨.