[論文レビュー] Informational Divergence Approximations to Product Distributions

Jie Hou, Gerhard Kramer|arXiv (Cornell University)|Feb 1, 2013

Statistical Mechanics and Entropy被引用数 9

ひとこと要約

本稿は、非正規化情報的距離を用いてターゲット製品分布を近似する際に必要な最小レートが、ターゲット周辺分布 Q_V と周辺分布を共有する V と U の関連分布におけるシャノン相互情報量 I(V;U) で与えられることを確立している。この結果は、ワイナーの共通情報とハン＝ヴェルトゥの分解能を一般化し、エンコーダーの入力分布が一様でない場合でさえも、非正規化距離最小化における相互情報量が根本的な限界であることを示している。

ABSTRACT

The minimum rate needed to accurately approximate a product distribution based on an unnormalized informational divergence is shown to be a mutual information. This result subsumes results of Wyner on common information and Han-Verdú on resolvability. The result also extends to cases where the source distribution is unknown but the entropy is known.

研究の動機と目的

• 非正規化情報的距離を距離尺度として用いたターゲット製品分布を近似するために必要な最小レートを特定すること。
• 非正規化距離に基づく最小化において、相互情報量が根本的なレート限界であることを示すことにより、既存の分解能と共通情報に関する結果を統合・一般化すること。
• エンコーダーが一様入力分布を仮定するのではなく、非一様入力分布を用いる場合への分析を拡張すること。
• ターゲット分布と近似分布の間の非正規化距離が任意に小さくなるために、同一の相互情報量レートが必要かつ十分であることを示すこと。
• 典型性に基づく証明とギャラッジャーの誤り指数法を用いた証明の両方を提示することで、結果の理論的基盤を強化すること。

提案手法

• 一様確率変数 W ∈ {1,…,M} が決定的関数 f を通じて U^n に符号化され、M = 2^{nR} と定義される符号化システムを用いる。
• U^n から、記憶なしの通信路 Q^{n}_{V|U} を通じて V^n を生成し、出力分布 P_{V^n} をターゲット Q^n_V に近似させる。
• レート R が達成可能であるとは、十分に大きな n に対して、非正規化情報的距離 D(P_{V^n} || Q^n_V) を任意に小さくできる場合を意味する。
• シャノンの典型性論法を適用し、Q_{UV} が周辺分布 Q_V を持つ関連分布であるとき、R > I(V;U) ならば、n が増加するにつれて距離が消えることを示す。
• ギャラッジャーの誤り指数法を用いて、ランダム符号化指数 E^n_0(ρ, Q^{n}_{UV}) を介して距離の上界を導出し、その後 ρ について最適化する。
• 0 ≤ x ≤ 1 のとき (a+b)^x ≤ a^x + b^x が成り立つ不等式や、期待値および独立性の性質を用いて、距離の式を抑え、指数的減衰を示す。

実験結果

リサーチクエスチョン

• RQ1 近似分布 P_{V^n} とターゲット製品分布 Q^n_V の間の非正規化情報的距離を任意に小さくするために必要な最小レート R は何か？
• RQ2 エンコーダー入力が一様でない場合（従来の研究で仮定されたように）でも、相互情報量 I(V;U) は根本的なレート限界のまま保たれるか？
• RQ3 ソース分布が未知だがエントロピーが既知である場合に、この結果を拡張できるか。また、これによりレート要件にどのような影響が生じるか？
• RQ4 典型性とギャラッジャーの誤り指数法の両方を用いた場合、距離最小化の達成可能性と逆方向の境界を証明する際に、両者の比較はどのようになるか？
• RQ5 レート n が非常に大きくなる極限において、非正規化距離が任意に小さくなるために、相互情報量 I(V;U) が必要かつ十分であるか？

主な発見

• 非正規化情報的距離を用いてターゲット製品分布 Q_V を近似する際の最小達成可能レート R は、I(V;U) に等しく、ここで I(V;U) は周辺分布 Q_V を持つ関連分布 Q_{UV} に関して計算される。また、|supp(Q_U)| ≤ |V| を満たす。
• すべての関連分布 Q_{UV} に対して R < I(V;U) である場合、レート R は達成不可能であり、これにより逆方向が証明され、相互情報量が正確な根本的限界であることが示された。
• この結果は、ワイナーの共通情報とハン＝ヴェルトゥの分解能の結果を包含しており、非正規化距離においても、正規化距離やバリエーショナル距離のときと同様に、相互情報量が最小レートであることを示している。
• ギャラッジャーの誤り指数法による証明では、距離がブロック長 n とともに指数的に減少することが示され、指数は E^n_0(ρ, Q^{n}_{UV}) ≤ log₂(1 + 2^{n(E_G(R,Q_{UV}) + ρR)}) で有界であり、R > I(V;U) のとき指数的減衰が成立する。
• エンコーダーが非一様入力分布を用いる場合でも、この解析は成り立つ。従来の一様入力の仮定に依存しない結果の拡張である。
• この境界はタイトである：R > I(V;U) のとき、期待距離 D(P_{V^n} || Q^n_V) は n → ∞ のとき 0 に収束する。これにより、相互情報量レートの達成可能性が確認された。