[論文レビュー] On Reverse Pinsker Inequalities

Igal Sason|arXiv (Cornell University)|Mar 24, 2015

Sparse and Compressive Sensing Techniques参考文献 23被引用数 12

ひとこと要約

この論文は、有限集合上の確率測度について、全 Variation 距離を用いた相対エントロピーおよび Rényi 発散の新しい逆 Pinsker 不等式を導出する。Verdú や Csiszár–Talata、Gilardoni の既存の境界を、尤度比の本質的上限と $ f $-発散技術を用いて改善し、より緊密な不等式を導入。情報理論および統計学への応用を含む。

ABSTRACT

New upper bounds on the relative entropy are derived as a function of the total variation distance. One bound refines an inequality by Verdú for general probability measures. A second bound improves the tightness of an inequality by Csiszár and Talata for arbitrary probability measures that are defined on a common finite set. The latter result is further extended, for probability measures on a finite set, leading to an upper bound on the Rényi divergence of an arbitrary non-negative order (including $\infty$) as a function of the total variation distance. Another lower bound by Verdú on the total variation distance, expressed in terms of the distribution of the relative information, is tightened and it is attained under some conditions. The effect of these improvements is exemplified.

研究の動機と目的

• 有限集合上の確率測度について、全 Variation 距離を用いた相対エントロピーのより緊密な上界を導出すること。
• Verdú や Csiszár–Talata、Gilardoni の既存の逆 Pinsker 型不等式を、改善・精緻化すること。
• 有限サポートの条件下で、任意の非負の順序 $\infty$ を含む Rényi 発散についての解析を拡張すること。
• Verdú が相対情報分布に基づいて得た全 Variation 距離の下界を、ある条件下でより緊密にすること。

提案手法

• 尤度比の本質的上限 $ \beta_1^{-1} = \sup_a \frac{dP}{dQ}(a) $ を用いた精緻化された逆 Pinsker 不等式を導出。Verdú の境界を改善する。
• 凸性の仮定の下で、$ f $-発散理論を適用し、$ D_f(P||Q) $、$ D_g(P||Q) $、$ \chi^2(P,Q) $ を含む一般不等式を導出。ここで $ g(t) = -t f(t) $ である。
• 重み付き測度を用いた $ f $-発散の Jensen 型の精緻化を用い、$ \log(1 + \chi^2(P,Q)) $ と $ D(P||Q) $ の差を評価。
• 一般不等式を $ f(t) = -\log t $ に適用し、$ \chi^2(P,Q) $ および全 Variation を用いた $ D(P||Q) $ と $ D(Q||P) $ のタイトな境界を導出。
• 任意の順序 $ \alpha \in [0,\infty] $ の Rényi 発散について、$ Q_{\min} $（$ Q $ における最小確率）をパrameterとする逆 Pinsker 不等式を確立。
• $ f $-発散の恒等式と凸性の議論を用いて、重要な不等式 (35) の簡略化された証明を提供。

実験結果

リサーチクエスチョン

• RQ1 尤度比の本質的上限を用いることで、Verdú の逆 Pinsker 不等式をより緊密にできるか？
• RQ2 有限確率測度に対して、全 Variation を用いた Csiszár–Talata の相対エントロピーの境界をどのように改善できるか？
• RQ3 任意の順序 $ \alpha \in [0,\infty] $ の Rényi 発散について、有限集合上の全 Variation 距離を用いた最もタイトな上界は何か？
• RQ4 相対情報分布に基づく Verdú の全 Variation 距離の下界は、ある条件下でより緊密にできるか？
• RQ5 $ \log(1 + \chi^2(P,Q)) $、$ D(P||Q) $、$ D(Q||P) $ の正確な関係は何か？また、$ f $-発散の恒等式を用いてどのように評価できるか？

主な発見

• 新しい逆 Pinsker 不等式が導出された：$ \frac{1}{2}|P - Q| \geq \left( \frac{1 - \beta_1}{\log \frac{1}{\beta_1}} \right) D(P||Q) $、ここで $ \beta_1 = \sup_a \frac{dP}{dQ}(a) $ であり、Verdú の境界を改善する。
• Csiszár–Talata の境界 $ D(P||Q) \leq \left( \frac{\log e}{Q_{\min}} \right) |P - Q|^2 $ は、最大尤度比に依存するように改善され、より正確な境界が得られる。
• 任意の順序 $ \alpha \in [0,\infty] $ の Rényi 発散について、上界が導出された：$ D_\alpha(P||Q) \leq \left( \frac{\log e}{Q_{\min}} \right) |P - Q|^2 $、有限確率空間で有効。
• 新しい不等式が証明された：$ \min_a \frac{P(a)}{Q(a)} \cdot D_f(P||Q) \leq -D_g(P||Q) - f(1 + \chi^2(P,Q)) \leq \max_a \frac{P(a)}{Q(a)} \cdot D_f(P||Q) $、ここで $ g(t) = -t f(t) $ であり、$ f $ が凸で $ f(1) = 0 $ を満たす。
• $ f(t) = -\log t $ の場合、$ D(Q||P) \leq \log(1 + \chi^2(P,Q)) - D(P||Q) \leq D(Q||P) $ が得られ、境界は最小および最大尤度比に依存する。
• Verdú の全 Variation 距離の下界がタイトにされた：$ |P - Q| \geq \mathbb{E}[|1 - \exp(-i_{P||Q}(X))|] $、等号成立条件も特定された。