[論文レビュー] Strong Data Processing Inequalities for Input Constrained Additive Noise Channels

Flávio P. Calmon, Yury Polyanskiy+1 more|arXiv (Cornell University)|Dec 20, 2015

Wireless Communication Security Techniques参考文献 19被引用数 3

ひとこと要約

本稿は、入力制約付きの加法的ノイズ通信路に対して強いデータ処理不等式（SDPI）を確立し、密度を持つ非退化ノイズで、そのサポートが自身の平行移動と交差しない場合を除き、任意の通信路で相互情報量 $I(W;Y)$ が $I(W;X)$ より厳密に小さいことを証明する。主な結果は、このような通信路に対して $I(W;Y) \leq F_I(I(W;X))$ が成り立ち、すべての $t > 0$ に対して $F_I(t) < t$ であることを示しており、2次的パワー制約下では、容量に近づくには $I(W;X) \to \infty$ である必要がある。ガウス通信路に対しては、I-MMSEとタラグランドの不等式を用いて、明示的かつオーダー最適な境界が導出される。

ABSTRACT

This paper quantifies the intuitive observation that adding noise reduces available information by means of non-linear strong data processing inequalities. Consider the random variables $W o X o Y$ forming a Markov chain, where $Y=X+Z$ with $X$ and $Z$ real-valued, independent and $X$ bounded in $L_p$-norm. It is shown that $I(W;Y) \le F_I(I(W;X))$ with $F_I(t)0$, if and only if $Z$ has a density whose support is not disjoint from any translate of itself. A related question is to characterize for what couplings $(W,X)$ the mutual information $I(W;Y)$ is close to maximum possible. To that end we show that in order to saturate the channel, i.e. for $I(W;Y)$ to approach capacity, it is mandatory that $I(W;X) o\infty$ (under suitable conditions on the channel). A key ingredient for this result is a deconvolution lemma which shows that post-convolution total variation distance bounds the pre-convolution Kolmogorov-Smirnov distance. Explicit bounds are provided for the special case of the additive Gaussian noise channel with quadratic cost constraint. These bounds are shown to be order-optimal. For this case simplified proofs are provided leveraging Gaussian-specific tools such as the connection between information and estimation (I-MMSE) and Talagrand's information-transportation inequality.

研究の動機と目的

• 入力制約付き加法的ノイズ通信路を通った際の相互情報量の損失を定量すること。
• 非退化ノイズに対して相互情報量を厳密に収縮させる非線形的強いデータ処理不等式（SDPI）を確立すること。
• 相互情報量 $I(W;Y)$ が通信路容量に近づく条件を特定し、適切な条件下で $I(W;X) \to \infty$ である必要があることを示すこと。
• 2次的パワー制約下での加法的ガウスノイズ通信路に対して、明示的かつオーダー最適な境界を導出すること。

提案手法

• 著者らは、入力制約下で、入力相互情報量 $I(W;X)$ を出力相互情報量 $I(W;Y)$ の最大値にマップするデータ処理関数 $F_I(t)$ を定義する。
• ノイズ $Z$ がその平行移動と交差しないサポートを持つ密度関数を持つ場合に限り、すべての $t > 0$ に対して $F_I(t) < t$ であることを証明する。
• 主要な技術的ツールとして、畳み込み後の全 Variation 距離を用いて、畳み込み前のコルモゴロフ＝スミルノフ距離を評価するデコンボリューション補題を用いる。
• ガウス通信路に対しては、I-MMSE関係とタラグランドの情報輸送不等式を活用し、簡略化されたオーダー最適な境界を導出する。
• 無限次元の場合を分析し、$F_I^\infty(t,\gamma)/t$ が単調減少で、$F_I^\infty(t,\gamma)$ が単調増加であることを証明し、タイトな漸近的境界を得る。
• 主な結果の証明には、特性関数の評価とエッセーンの不等式を用いて、入力分布とガウス分布との距離を制御する。

実験結果

リサーチクエスチョン

• RQ1 入力制約付き加法的ノイズ通信路において、ノイズ $Z$ がどのような条件下で相互情報量が厳密に収縮するか。
• RQ2 すべての $W \to X \to Y$ に対して $Y = X + Z$ を満たすとき、$I(W;Y) \leq F_I(I(W;X))$ を満たす関数的関係 $F_I(t)$ はどのようなものか。
• RQ3 2次的パワー制約下で、相互情報量 $I(W;Y)$ が通信路容量に近づくのは、$I(W;X) \to \infty$ である場合に限るのか。
• RQ4 入力パワー制約下での加法的ガウスノイズ通信路に対して、$F_I(t)$ の明示的かつオーダー最適な境界をどのように導出できるか。
• RQ5 Lévy濃度関数は、入力分布の原子の不在をどのように特徴づけるか。

主な発見

• すべての $t > 0$ に対して、相互情報量 $I(W;Y)$ が $I(W;X)$ より厳密に小さいのは、ノイズ $Z$ がその平行移動と交差しないサポートを持つ密度関数を持つとき、かつそのときに限り成り立つ。
• 2次的パワー制約 $\gamma$ を持つ加法的ガウスノイズ通信路に対して、関数 $F_I^\infty(t,\gamma)$ は $F_I^\infty(\gamma/2,\gamma) = \gamma/2$ を満たし、最適レートは入力相互情報量が無限大の極限でのみ達成されることを示している。
• 上記のノイズ条件のもとで、すべての $t > 0$ に対して $F_I(t) < t$ が一様に成り立つため、厳密なデータ処理収縮が証明される。
• タラグランドの不等式とI-MMSEツールを用いて、入力分布とガウス分布とのコルモゴロフ＝スミルノフ距離に関する明示的境界が導出され、高い相互情報量下で入力分布がほぼガウス分布に近づくことが示された。
• デコンボリューション補題により、畳み込み後の全 Variation 距離が畳み込み前のコルモゴロフ＝スミルノフ距離を上界で制御でき、これが主要な収縮結果の根拠となる。
• Lévy濃度関数 $\mathcal{L}(X;\delta)$ がゼロで連続であることは、分布が原子を持たないことに同値であり、これは入力分布のガウス分布近傍での挙動を分析するために用いられている。