[論文レビュー] Strong data-processing inequalities for channels and Bayesian networks

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Aug 25, 2015

Markov Chains and Monte Carlo Methods被引用数 4

ひとこと要約

本稿は、エヴァンス＝シュルマン法を用いて多ホップネットワーク全体にわたる収縮係数を拡張することで、チャネルおよびベイジアンネットワークにおける強いデータ処理不等式（SDPI）を確立する。相互情報量、全 Variation（ドブリージン）、非線形 $F_I$-カーブ収縮についてのエンドツーエンドSDPIを導出し、境界をネットワーク内での透過確率として解釈することで、単一記号の場合から、フィードバック付き $n$-文字列の無記憶チャネルにおけるSDPIの導出を可能にする。

ABSTRACT

The data-processing inequality, that is, $I(U;Y) \le I(U;X)$ for a Markov chain $U o X o Y$, has been the method of choice for proving impossibility (converse) results in information theory and many other disciplines. Various channel-dependent improvements (called strong data-processing inequalities, or SDPIs) of this inequality have been proposed both classically and more recently. In this note we first survey known results relating various notions of contraction for a single channel. Then we consider the basic extension: given SDPI for each constituent channel in a Bayesian network, how to produce an end-to-end SDPI? Our approach is based on the (extract of the) Evans-Schulman method, which is demonstrated for three different kinds of SDPIs, namely, the usual Ahslwede-Gács type contraction coefficients (mutual information), Dobrushin's contraction coefficients (total variation), and finally the $F_I$-curve (the best possible non-linear SDPI for a given channel). Resulting bounds on the contraction coefficients are interpreted as probability of site percolation. As an example, we demonstrate how to obtain SDPI for an $n$-letter memoryless channel with feedback given an SDPI for $n=1$. Finally, we discuss a simple observation on the equivalence of a linear SDPI and comparison to an erasure channel (in the sense of "less noisy" order). This leads to a simple proof of a curious inequality of Samorodnitsky (2015), and sheds light on how information spreads in the subsets of inputs of a memoryless channel.

研究の動機と目的

• 単一チャネルにおける強いデータ処理不等式（SDPI）を、複数のチャネルを含むマルチターミナルベイジアンネットワークへと拡張すること。
• 相互情報量、全 Variation、非線形 $F_I$-カーブの収縮係数を用いた、ネットワーク全体における情報損失の上限を統一的に定式化すること。
• 得られた収縮係数境界を、ネットワーク系におけるサイト透過確率として解釈すること。
• ネットワーク合成を用いて、$n=1$ の場合から $n$-文字列の無記憶チャネル（フィードバック付き）におけるSDPIを導出可能にすること。
• 線形SDPIと消失チャネルとの比較の間の同等性を確立し、既知の不等式の証明を簡略化すること。

提案手法

• エヴァンス＝シュルマン法を、直列および並列チャネルネットワークにおけるSDPIの合成に適応する。
• カンタロビッチ双対性および最適輸送を用いて、結合分布のカップリングの最小コストを評価し、全 Variation および相互情報量の収縮を導出可能にする。
• 非線形SDPIの最良形式である $F_I$-カーブの新規定式化を導入し、カップリングおよび双対性技術を用いてその収縮係数を導出する。
• アールスヴェーデ＝ガーツ相互情報量収縮、ドブリージン全 Variation 収縮、$F_I$-カーブ非線形収縮の3種類のSDPIに本手法を適用する。
• 消失チャネルとの比較を活用して、線形SDPIの同等性を証明し、サモロドニツキーの不等式の簡単な証明を導出する。
• 一般（非離散）入出力空間を扱うために、同時に最大カップリングと可測選択を用いる。

実験結果

リサーチクエスチョン

• RQ1 個々のチャネルにおける強いデータ処理不等式（SDPI）を、ベイジアンネットワーク全体にわたるエンドツーエンドSDPIへとどのように合成できるか？
• RQ2 ネットワークチャネルにおける相互情報量、全 Variation、非線形 $F_I$-カーブの収縮係数の中で、最もタイトなものは何か？
• RQ3 収縮係数は、ネットワーク系における透過閾値とどのように関係しているか？
• RQ4 ネットワーク合成を用いて、$n=1$ の場合から $n$-文字列の無記憶チャネル（フィードバック付き）におけるSDPIを導出可能か？
• RQ5 線形SDPIと消失チャネルとの比較の間にはどのような関係があり、既知の不等式の証明をどのように簡略化できるか？

主な発見

• エヴァンス＝シュルマン法を用いて、ネットワークにおける相互情報量のエンドツーエンドSDPIを導出し、収縮係数を透過確率として解釈する。
• 全 Variation に関しては、最適輸送およびカップリングを用いてドブリージン型の収縮境界を導出し、非退化チャネルでは厳密な収縮が成立することを示す。
• $F_I$-カーブ（最良非線形SDPI）は、双対性およびカップリングを用いてネットワーク内で評価され、線形近似よりもタイトな境界が得られる。
• 本稿では、線形SDPIが「よりノイジーでない」順序において消失チャネルとの比較と同等であることを証明し、サモロドニツキーの不等式の新たな証明を可能にする。
• $n=1$ から $n$-文字列の無記憶チャネル（フィードバック付き）へのSDPIの拡張を、タイトさを保ちながら行うための新規手法を開発する。
• 結合分布 $P_{XY}$ の収縮係数は、$\min_{\pi} \mathbb{E}[\mathbf{1}_{(X,Y)\neq(X',Y')}] + \mathbb{E}[\mathbf{1}_{X\neq X'}] = d_{\rm TV}(P_{XY},Q_{XY}) + d_{\rm TV}(P_X,Q_X)$ を満たし、カップリング境界の等号成立を証明する。