[論文レビュー] Strong data processing inequalities and $\Phi$-Sobolev inequalities for discrete channels

Maxim Raginsky|arXiv (Cornell University)|Nov 13, 2014

Probabilistic and Robust Engineering Design参考文献 46被引用数 5

ひとこと要約

本稿は、離散的マルコフ連鎖における強力なデータ処理不等式（SDPIs）とΦ-ソボレフ不等式について包括的な分析を提供し、変分的特徴付け、SDPI定数の上限・下限、およびSDPIsとΦ-ソボレフ不等式の関係を確立する。本稿では、積チャンネルにおける最適SDPI定数を導出し、それらを最大相関およびハイパーコントラクト性と関連付ける。さらに、情報理論、マルコフ連鎖、統計物理学への応用を含み、主な貢献として、マルコフ収縮による普遍的な上限と、可逆マルコフ連鎖におけるSDPI定数とΦ-ソボレフ定数の新しい関係を示す。

ABSTRACT

The noisiness of a channel can be measured by comparing suitable functionals of the input and output distributions. For instance, the worst-case ratio of output relative entropy to input relative entropy for all possible pairs of input distributions is bounded from above by unity, by the data processing theorem. However, for a fixed reference input distribution, this quantity may be strictly smaller than one, giving so-called strong data processing inequalities (SDPIs). The same considerations apply to an arbitrary $\Phi$-divergence. This paper presents a systematic study of optimal constants in SDPIs for discrete channels, including their variational characterizations, upper and lower bounds, structural results for channels on product probability spaces, and the relationship between SDPIs and so-called $\Phi$-Sobolev inequalities (another class of inequalities that can be used to quantify the noisiness of a channel by controlling entropy-like functionals of the input distribution by suitable measures of input-output correlation). Several applications to information theory, discrete probability, and statistical physics are discussed.

研究の動機と目的

• 離散的チャネルにおける強力なデータ処理不等式（SDPIs）の最適定数を体系的に研究すること、特にΦ-発散に対して。
• 積確率空間上でのSDPI定数に関する変分的特徴付け、上限・下限、および構造的結果を確立すること。
• 可逆マルコフ連鎖の文脈において、SDPIsとΦ-ソボレフ不等式の関係を調査すること。
• 導出された不等式を情報理論、離散確率、統計物理学の問題に応用すること。具体的には、集中、混合時間、グラフィカルモデルにおける再構築に関する問題を対象とする。

提案手法

• ドブリーシュインの収縮係数を用いたマルコフ収縮による、SDPI定数の普遍的な上限を導出する。
• 最大相関を用いたSDPI定数の上限・下限を確立し、特にバイナリ対称チャネル（BSC）ではη(μ,K) = (1−2ε)²となることを示す。
• Φの作用素凸性を用いてSDPI定数の上限を導出し、それらを部分ガウス分布への集中と情報輸送不等式に関連付ける。
• テンソル化技術を用いてSDPI結果を積空間に拡張し、局所的チャネル混合の解析を行う。
• 条件付きΦエントロピーの変分的表現を導入し、交換可能な対（X,X′）を用いてSDPIを共分散型表現に関連付ける。
• 可逆マルコフ連鎖における最適Φ-ソボレフ定数が、因子分解された遷移核のSDPI定数と関連していることを示す。

実験結果

リサーチクエスチョン

• RQ1 Φとチャネル構造に応じて、離散的チャネルにおけるSDPI定数η(μ,K)の最もタイトな上限・下限は何か。また、それらはどのように変化するか。
• RQ2 特にバイナリ対称チャネルのような対称的なケースにおいて、離散的チャネルにおけるSDPI定数は最大相関およびハイパーコントラクト性定数とどのように関係しているか。
• RQ3 積チャネルにおけるSDPI定数は、テンソル化および局所的チャネル分解を用いてどの程度特徴付け可能か。
• RQ4 可逆マルコフ連鎖におけるSDPI定数とΦ-ソボレフ定数の正確な関係は何か。
• RQ5 SDPIおよびΦ-ソボレフ不等式を用いて、マルコフ連鎖における新しい集中不等式および混合時間の上限を導出できるか。

主な発見

• 入力分布がBern(1/2)であるバイナリ対称チャネル（BSC）に対して、SDPI定数は正確にη(μ,K) = (1−2ε)²であり、これは二乗最大相関と一致する。
• SDPI定数はドブリーシュインの収縮係数によって普遍的に上界で抑えられ、特定のチャネルクラスではこの上限がタイトである。
• 作用素凸性を持つΦに対して、SDPI定数は最大相関の二乗で抑えられ、相関と発散収縮の間の鋭い解析的関係を提供する。
• 条件付きΦエントロピーの変分的表現を確立し、Φおよびその微分の凸性・凹性の性質を用いてΦエントロピーの新たな上限を導出可能にする。
• 可逆マルコフ連鎖における最適Φ-ソボレフ定数とSDPI定数の間の新しい関係を証明し、前者が遷移核の因子分解から導出可能であることを示した。
• 応用として、マルコフ連鎖における相互情報量収縮の新たな上限、グラフ上の最速混合時間、統計物理学モデルにおけるスウェンセン＝ワングおよびヒートバスダイナミクスの混合時間解析が得られた。