[論文レビュー] A note on the strong data-processing inequalities in Bayesian networks.

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Aug 25, 2015

Markov Chains and Monte Carlo Methods被引用数 11

ひとこと要約

本稿では、エヴァンス＝シュルマン法を拡張することで、ベイジアンネットワークにおけるエンド・ツー・エンドの強いデータ処理不等式（SDPI）を導出するフレームワークを開発する。アールスヴェーデ＝ガーツ、ドブロシチン、および$F_I$-カーブの3種類の収縮係数についてSDPIを確立し、チャネル固有のSDPIを複雑なネットワークに渡って伝播可能にし、フィードバック付き$n$-文字列の無記憶チャネルへの応用を実施する。

ABSTRACT

The data-processing inequality, that is, $I(U;Y) \le I(U;X)$ for a Markov chain $U o X o Y$, has been the method of choice for proving impossibility (converse) results in information theory and many other disciplines. Various channel-dependent strengthenings of this inequality have been proposed both classically and more recently. This note considers the basic information-theoretic question: given strong data-processing inequality (SDPI) for each constituent channel in a Bayesian network, how does one produce an end-to-end SDPI? Our approach is based on the (extract of the) Evans-Schulman method, which is demonstrated for three different kinds of SDPIs, namely, the usual Ahslwede-G\'acs type contraction coefficients (mutual information), Dobrushin's contraction coefficients (total variation), and finally the $F_I$-curve (the best possible SDPI for a given channel). As an example, it is shown how to obtain SDPI for an $n$-letter memoryless channel with feedback given an SDPI for $n=1$.

研究の動機と目的

• 個々のチャネルにおけるSDPIが既知である場合に、ベイジアンネットワークにおけるタイトなエンド・ツー・エンドの強いデータ処理不等式（SDPI）を導出する課題に対処すること。
• エヴァンス＝シュルマン法を、アールスヴェーデ＝ガーツ、ドブロシチン、および$F_I$-カーブ係数を含む、複数のタイプのSDPIに拡張すること。
• メモリおよびフィードバックを持つチャネルに対して特に有効な、マルチノードのベイジアンネットワークを介したSDPIの伝播のための体系的アプローチを提供すること。
• $n=1$のケースから$ n $-文字列のフィードバック付き無記憶チャネルのSDPIを導出することで、この手法の有効性を実証すること。

提案手法

• ネットワークをマークフ・チェーンに分解し、条件付き分布間の情報フローを分析するためにエヴァンス＝シュルマン法を適用する。
• 収縮係数フレームワークを用いて、各チャネルにおける情報損失を定量化し、相互情報量、全変動、および$F_I$-カーブのためのSDPIの導出を可能にする。
• ベイジアンネットワークの構造とマルコフ性を用いて、情報発散の再帰的バウンドを確立する。
• 個々のチャネルSDPIを統合してネットワーク全体のグローバルSDPIを導出する一般化された合成則を導出する。
• $n$-文字列の拡張を活用して、$n=1$のSDPIからフィードバック付き無記憶チャネルにこの手法を適用する。
• 3種類の異なるタイプのSDPIにこの手法を適用することで、その一般性を示し、一貫性がありタイトなバウンドが得られることを示す。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンネットワーク内の複数のチャネルにわたる強いデータ処理不等式をどのように合成し、グローバルなエンド・ツー・エンドのバウンドを導出できるか？
• RQ2 エヴァンス＝シュルマン法は、$F_I$-カーブを含む、異なる種類の収縮係数に対しても一般化可能か？
• RQ3 $n=1$のケースが与えられた場合、$n$-文字列のフィードバック付き無記憶チャネルの最良のSDPIは何か？
• RQ4 相互情報量、全変動、$F_I$-カーブといった異なる統計的依存度の測定方法は、ネットワーク合成下でどのように振る舞うか？
• RQ5 ベイジアンネットワークのどのような構造的性質が、個々のチャネルからのSDPIを全ネットワークに伝播可能にするか？

主な発見

• エヴァンス＝シュルマン法は、ベイジアンネットワークにおけるアールスヴェーデ＝ガーツ、ドブロシチン、$F_I$-カーブ係数のエンド・ツー・エンドSDPIを導出するために、うまく一般化された。
• 個々のチャネルSDPIを統合してグローバルSDPIを導出するための合成則が確立され、ネットワーク全体にわたってタイトさが保たれた。
• $n$-文字列のフィードバック付き無記憶チャネルに対して、$n=1$のケースから導出されたSDPIが有効かつタイトであることが示され、先行研究が拡張された。
• $F_I$-カーブは、与えられたチャネルに対して最良のSDPIを提供し、その使用によりエンド・ツー・エンドの最もタイトなバウンドが達成可能である。
• この手法は、相互情報量および全変動の両方において一貫した性能を示し、さまざまな情報測度に対して頑健であることが実証された。