[論文レビュー] Bounds on $f$-Divergences and Related Distances

Igal Sason|arXiv (Cornell University)|Mar 27, 2014

Wireless Communication Security Techniques被引用数 3

ひとこと要約

この論文は、全変動距離を基準として、対称 f-発散度（全変動、ヘルンゲリン、ピアソンカイ二乗発散度など）のタイトな上限を導出する。2 または 3 要素の確率分布を用いて、これらの上限が達成可能であることを証明し、それらを損失なしソース符号化の境界の改善およびチャネル符号検出に応用する。

ABSTRACT

Tight bounds for several symmetric divergence measures are derived in terms of the total variation distance. It is shown that each of these bounds is attained by a pair of 2 or 3-element probability distributions. An application of these bounds for lossless source coding is provided, refining and improving a certain bound by Csiszar. Another application of these bounds has been recently introduced by Yardi. et al. for channel-code detection.

研究の動機と目的

• 全変動距離を基準として、対称 f-発散度のタイトで明示的な境界を導出すること。
• これらの境界を達成する最小の確率空間（2 または 3 要素の分布）を特定すること。
• 特に損失なしソース符号化におけるツィスザーの境界を改善することにより、情報理論における既存の境界を精緻化すること。
• チャネル符号検出などの応用における性能解析の向上を可能にすること。

提案手法

• f-発散度関数の凸性および対称性の性質を活用して、対称 f-発散度の解析的境界を導出する。
• 2 または 3 要素の確率分布に対する変分最適化を用いて、最もタイトな境界を達成する極値的構成を同定する。
• 境界を全変動距離の関数として表現し、f-発散度とこの基本的指標との間の直接的な関数的関係を確立する。
• 情報理論的不等式を用いて、導出された境界を損失なしソース符号化におけるツィスザーの境界の精緻化に応用する。
• 導出された不等式で等号が成立する明示的な 2 点または 3 点の分布を構築することで、境界のタイトさを検証する。
• f-発散度理論における既知の双対性およびミニマックス原理を活用して、導出された境界の最適性を確立する。

実験結果

リサーチクエスチョン

• RQ1 全変動距離を用いた対称 f-発散度の最もタイトな上界は何か？
• RQ2 すべての可能な分布の中で、最もタイトな境界を達成する確率分布は何か？
• RQ3 これらの境界は、損失なしソース符号化における既存の性能限界をどのように改善できるか？
• RQ4 これらの境界は、チャネル符号解析における検出基準を強化するために使用できるか？

主な発見

• 対称 f-発散度の全変動距離を用いたタイトな境界が、明示的な関数形とともに導出された。
• これらの境界がタイトであり、特定の 2 または 3 要素の確率分布によって達成されることを示した。
• 導出された境界は、損失なしソース符号化におけるツィスザーの境界を上回り、符号化効率のよりタイトな特徴付けを提供する。
• 結果は、ヤルディらが示したように、チャネル符号検出への応用が可能であり、検出性能の境界を強化する。
• 解析により、これらの境界の極値的分布は疎であり、2 つまたは 3 つの結果しか含まないことが明らかになった。
• 本手法は、複数の f-発散度を単一の基準指標（全変動距離）と関連付ける一般枠組みを確立した。