[論文レビュー] Wasserstein continuity of entropy and outer bounds for interference channels

Yury Polyanskiy, Yihong Wu|arXiv (Cornell University)|Apr 17, 2015

Wireless Communication Security Techniques参考文献 20被引用数 9

ひとこと要約

本稿は、正則性条件下において微分エントロピーおよびシャノンエントロピーのワーソイントン連続性を確立し、エントロピーの差が分布間のワーソイントン距離によって有界であることを示している。この結果と輸送情報不等式を用いて、2ユーザーのガウス干渉チャネルに対する新たな外部境界を証明し、容量領域の特徴付けにおける長年の「欠落したコーナーポイント」問題を解決した。

ABSTRACT

It is shown that under suitable regularity conditions, differential entropy is a Lipschitz functional on the space of distributions on $n$-dimensional Euclidean space with respect to the quadratic Wasserstein distance. Under similar conditions, (discrete) Shannon entropy is shown to be Lipschitz continuous in distributions over the product space with respect to Ornstein's $\bar d$-distance (Wasserstein distance corresponding to the Hamming distance). These results together with Talagrand's and Marton's transportation-information inequalities allow one to replace the unknown multi-user interference with its i.i.d. approximations. As an application, a new outer bound for the two-user Gaussian interference channel is proved, which, in particular, settles the "missing corner point" problem of Costa (1985).

研究の動機と目的

• 分布が意味のある距離で近いとき、その確率変数のエントロピー差を制御するという根本的な問題に取り組む。
• 情報理論的逆証明において、複雑でi.i.d.でない多ユーザー干渉をi.i.d.近似に置き換える。
• 2ユーザーのガウス干渉チャネル（GIC）の容量領域における「欠落したコーナーポイント」問題を解決する。
• KLダイバージェンスではなくワーソイントン距離を用いて、微分エントロピーおよび離散エントロピーの新たな連続性バインディングを確立する。
• 正則性条件下でKLダイバージェンスとワーソイントン距離を結ぶ逆輸送情報不等式を導出する。

提案手法

• モーメントおよび密度の正則性条件下で、$\mathbb{R}^n$ 上の微分エントロピーが$W_2$-距離に関して$O(\sqrt{n})$-リプシッツ連続であることを証明する。
• 積空間上でのシャノンエントロピーがオルンシュタインの$\bar{d}$-距離（ハミング距離におけるワーソイントン距離）に関して、類似の$O(n)$-リプシッツ連続性を確立する。
• タラグランドおよびマルトゥンの輸送情報不等式を適用し、$W_2$-距離をKLダイバージェンスに結びつけることで、エントロピー差の制御を可能にする。
• エントロピーのワーソイントン連続性を応用し、GICの逆証明において非i.i.i.d.干渉をi.i.i.d.ガウス近似に置き換える。
• 正則性条件下で逆不等式 $D(P\|Q) \lesssim \sqrt{\int \|x\|^2 (dP + dQ)} \cdot W_2(P,Q)$ を導出する。
• 得られた結果を応用して、2ユーザーのガウス干渉チャネルに対する新たな外部境界を証明し、欠落したコーナーポイントを解決する。

実験結果

リサーチクエスチョン

• RQ1 適切な正則性のもとで、KLダイバージェンスではなくワーソイントン距離による微分エントロピーのバインディングが可能か？
• RQ2 2ユーザーのガウス干渉チャネルにおける非i.i.i.d.干渉を、逆証明の文脈で効果的にi.i.d.近似に置き換えられるか？
• RQ3 高次元設定において、$W_2$-距離が微分エントロピーの差を制御できるか？
• RQ4 正則性条件下で、KLダイバージェンスをワーソイントン距離によって上界付ける逆輸送不等式を確立できるか？
• RQ5 新しいワーソイントンに基づく連続性結果が、2ユーザーGICの容量領域における「欠落したコーナーポイント」を解消できるか？

主な発見

• モーメントおよび密度の正則性条件下で、$\mathbb{R}^n$ 上の微分エントロピーは$W_2$-距離に関して$O(\sqrt{n})$-リプシッツ連続である。
• 積空間上でのシャノンエントロピーは、オルンシュタインの$\bar{d}$-距離に関して$O(n)$-リプシッツ連続である。
• 2ユーザーのガウス干渉チャネルの容量領域における「欠落したコーナーポイント」は、ワーソイントン連続性に基づく新たな外部境界によって解決された。
• 正則性条件下で逆輸送不等式 $D(P\|Q) \lesssim \sqrt{\int \|x\|^2 (dP + dQ)} \cdot W_2(P,Q)$ が確立された。
• タラグランドの不等式をワーソイントン連続性と併用することで、KLダイバージェンスに基づくエントロピー差のバインディングが可能となり、GICの逆証明が可能になった。
• 結果は、高次元および多ユーザー設定において、エントロピー差の制御にKLダイバージェンスよりもワーソイントン距離がより適した度合いであることを示している。