[論文レビュー] A short note on an inequality between KL and TV

Clément L. Canonne|arXiv (Cornell University)|Feb 15, 2022

Mathematical Inequalities and Applications被引用数 7

ひとこと要約

この論文は、カルバック・ライブラー（KL）ダイバージェンスと全変動（TV）距離の間の、よりきつい非自明な境界—BH境界—を導入し、証明している。dTV(p, q) ≤ √(1 − e^−KL(p∥q)) である。ピンスカーの不等式とは異なり、この境界は大きなKLダイバージェンスに対しても有効であり、小さなKL値に対してもピンスカーの不等式より弱くならない。情報理論および統計学において、より頑健な代替手段を提供する。

ABSTRACT

The goal of this short note is to discuss the relation between Kullback--Leibler divergence and total variation distance, starting with the celebrated Pinsker's inequality relating the two, before switching to a simple, yet (arguably) more useful inequality, apparently not as well known, due to Bretagnolle and Huber. We also discuss applications of this bound for minimax testing lower bounds.

研究の動機と目的

• 大きなKLダイバージェンス値に対しても空虚でない、KLダイバージェンスと全変動距離の関係を示すよりきつい不等式を提示すること。
• KL(p∥q) > 2 であっても有効であることを示し、小さなKLダイバージェンス値ではピンスカーの不等式よりも常に劣らないBH境界を示すこと。
• ジョーンゼンの不等式とラドン＝ニコディム微分の性質を用いた、BH境界の明快でアクセス可能な導出を提供すること。
• 特に高次元または大きなKLダイバージェンスの状況において、統計的推論や仮説検定におけるBH境界の有用性を動機づけること。
• BH境界とドンスカー＝バラドハンの公式（トーマスの最愛の補題）との関連を探索し、この原理からBH境界を導出できるかという未解決の問いを提示すること。

提案手法

• 分布pの下で、U = q(X)/p(X)、V = (U−1)+、W = (1−U)+ という確率変数を用いてBH境界を導出する。
• 恒等式 −KL(p∥q) = E_p[log U] = E_p[log(1+V) + log(1−W)] にジョーンゼンの不等式を適用し、−KL(p∥q) ≤ log(1 + E_p[V]) + log(1 − E_p[W]) を得る。
• dTV(p,q) = E_p[V] = E_p[W] であることに着目し、不等式を −KL(p∥q) ≤ log(1 + dTV) + log(1 − dTV) = log(1 − dTV²) に変形する。
• 両辺を指数関数で変換し、整理することで dTV(p,q) ≤ √(1 − e^−KL(p∥q)) を得る。
• g(x) = min(1, p(x)/q(x)) の直接的構成により、e^−KL(p∥q) ≤ 1 − dTV(p,q)² を示し、これによりBH境界が導かれる。
• KL(p∥q) > 2 であっても非自明であることを示し、ピンスカーの不等式と比較してBH境界の優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 大きなKL値に対しても有効な、KLダイバージェンスと全変動距離の間の、よりきつい非自明な境界を導出可能か？
• RQ2 BH境界は、すべてのKLダイバージェンスの範囲において、ピンスカーの不等式よりもきつさと適用可能性の点で厳密に優れているか？
• RQ3 BH境界はドンスカー＝バラドハンの公式（トーマスの最愛の補題）から導出可能か？
• RQ4 Vajdaの境界を含む、他の既知のf-ダイバージェンス不等式と比較して、BH境界は定量的にどのように異なるか？
• RQ5 g(x) = min(1, p(x)/q(x)) は、TFLを用いたBH境界の導出において、どのような役割を果たすか？

主な発見

• BH境界は dTV(p,q) ≤ √(1 − e^−KL(p∥q)) を示し、これは空虚ではなく、KL(p∥q) > 2 であっても有効である。
• 小さなKL(p∥q)では、BH境界はピンスカーの不等式より劣らず、差は √2 の係数要因に限られる。
• すべてのKL(p∥q) > 0 に対して、BH境界はピンスカーの不等式よりきつくなり、KL(p∥q) が大きくなるほど差が広がる。
• U = q(X)/p(X)、V = (U−1)+、W = (1−U)+ を含む恒等式にジョーンゼンの不等式を適用することで、境界が導出される。
• g(x) = min(1, p(x)/q(x)) を選ぶことで、ドンスカー＝バラドハンの公式からBH境界が導出可能であり、e^−KL(p∥q) ≤ 1 − dTV(p,q)² を得る。
• BH境界は、KL(p∥q) < ∞ ならば dTV(p,q) < 1 であることを示しており、これはピンスカーの不等式では示せない事実である。