[論文レビュー] Brascamp-Lieb Inequality and Its Reverse: An Information Theoretic View

Jingbo Liu, Thomas A. Courtade+2 more|arXiv (Cornell University)|May 10, 2016

Wireless Communication Security Techniques参考文献 30被引用数 7

ひとこと要約

本稿は、ブラス camp-リーブ（BL）不等式とその逆不等式の間における情報理論的双対性を統一的に確立し、カルレンとコルデロ＝エラスキンの双対性をブロードキャストチャネルやマルチアクセスチャネルを含む確率的変換へ一般化することで達成する。主な貢献は、BL型不等式におけるガウス型最適性、テンソル化、凸性、データ処理特性を証明するフレームワークを提供することであり、これにより多次元ネルソンのハイパーコントラクトイティ定理や、ガウス源における多次元ワイナー共通情報の正確な特徴付けといった新たな結果が得られる。

ABSTRACT

We generalize a result by Carlen and Cordero-Erausquin on the equivalence between the Brascamp-Lieb inequality and the subadditivity of relative entropy by allowing for random transformations (a broadcast channel). This leads to a unified perspective on several functional inequalities that have been gaining popularity in the context of proving impossibility results. We demonstrate that the information theoretic dual of the Brascamp-Lieb inequality is a convenient setting for proving properties such as data processing, tensorization, convexity and Gaussian optimality. Consequences of the latter include an extension of the Brascamp-Lieb inequality allowing for Gaussian random transformations, the determination of the multivariate Wyner common information for Gaussian sources, and a multivariate version of Nelson's hypercontractivity theorem. Finally we present an information theoretic characterization of a reverse Brascamp-Lieb inequality involving a random transformation (a multiple access channel).

研究の動機と目的

• ブラス camp-リーブ不等式と相対エントロピーの部分加法性の間の双対性を、ブロードキャストチャネルを含む確率的変換へ拡張し、情報理論におけるより広範な応用可能性を可能にすること。
• 関数不等式におけるデータ処理、テンソル化、凸性、ガウス型最適性などの性質を証明する統一的フレームワークを提供すること。
• 複数アクセスチャネル（MAC）モデルを用いて逆ブラス camp-リーブ不等式を特徴付け、全単射の場合にバーイの元来の定式化における「sup」演算子が消えることを明らかにすること。
• 提案された双対性を用いて、ガウス源における多次元ワイナー共通情報を正確に特徴付けること。
• ブラス camp-リーブ不等式の情報理論的双対性を通じて、ネルソンのハイパーコントラクトイティ定理の多次元版を確立すること。

提案手法

• カルレンとコルデロ＝エラスキンの双対性を、非決定的変換（すなわちブロードキャストチャネル）を許容するように一般化することで、BL不等式枠組みを拡張すること。
• 相対エントロピーの非負性とドンスカー＝ヴァラドハンの変分公式を、双対性結果を導出するための核心的技術的道具として用いること。
• 有限アルファベットの仮定の下で相対情報の分割性を適用し、KKT条件と補完性スラックネスを活用して逆双対性を証明すること。
• 2つの独立な確率変数の和と差が独立であるならば、それらが同時にガウス分布に従うことを活用して、ガウス型最適性を確立すること。
• チャネル遷移核が変換を定義する複数アクセスチャネル（MAC）を用いて、逆ブラス camp-リーブ不等式を定式化すること。
• カップリング技術と相対エントロピーの最小化を用いて、関数不等式と情報理論的制約の間の同値性を証明すること。

実験結果

リサーチクエスチョン

• RQ1 ブラス camp-リーブ不等式と相対エントロピーの部分加法性の間の双対性は、確率的（確率的）変換を含む形に拡張可能か？
• RQ2 ブラス camp-リーブ不等式の情報理論的双対性は、自然にデータ処理、テンソル化、凸性などの性質を示唆するか？
• RQ3 この双対性フレームワークを用いて、ガウス源における多次元ワイナー共通情報を正確に特徴付けることができるか？
• RQ4 複数アクセスチャネルを用いてモデル化した場合、逆ブラス camp-リーブ不等式はどのように一般化されるか？
• RQ5 ガウス分布は、この情報理論的双対性の下で関数不等式の極値をとる上でどのような役割を果たすか？

主な発見

• 本稿は、共分散行列が $\mathbf{\Sigma}$ である $m$ 個のガウススカラー確率変数における多次元ワイナー共通情報が、$\frac{1}{2}\inf_{\bf\Lambda}\log\frac{|\mathbf{\Sigma}|}{|\bf\Lambda|}$ に等しいことを証明している。ここで $\bf\Lambda$ は $\bf\Lambda\preceq\Sigma$ を満たす対角行列の範囲を動く。
• 情報理論的双対性の結果として、多次元ネルソンのハイパーコントラクトイティ定理が導出され、古典的結果が複数変数へ拡張される。
• 逆ブラス camp-リーブ不等式は複数アクセスチャネルを用いて再定式化され、チャネルが全単射である場合には、バーイの元来の定式化における「sup」演算子が消失することが明らかになった。
• MAC がポイントツーポイントチャネルに縮退する場合、強いデータ処理不等式は一般化された逆ブラス camp-リーブ不等式の特別な場合として回復される。
• 共通情報やハイパーコントラクトイティを含む、ブラス camp-リーブ不等式の双対に関する情報理論的最適化問題において、ガウス型最適性が確立された。
• フレームワークにより、逆不等式における最良定数がカップリングと相対エントロピーの最適化によって特徴付けられることを証明した。これはバーイの結果を確率的チャネルへ一般化するものである。