[論文レビュー] Information-Theoretic Perspectives on Brascamp-Lieb Inequality and Its Reverse

Jingbo Liu, Thomas A. Courtade+2 more|arXiv (Cornell University)|Feb 21, 2017

Point processes and geometric inequalities参考文献 66被引用数 16

ひとこと要約

本稿は、ブラスカム＝リーブ不等式とその逆（バルテの不等式）を一般化する統一的な情報理論的枠組みを導入し、新たな前向き・逆不等式を用いてそれらのエントロピー的表現を証明する。この手法はエントロピーとフィッシャー情報の技術を活用し、リーブにインspiredされた「二重化テクニック」を用いて、ガウス分布の最適性、データ処理、テンソル化の性質を確立する。これにより、ベクトルガウス源符号化および共通情報理論における新たな結果が得られる。

ABSTRACT

We introduce an inequality which may be viewed as a generalization of both the Brascamp-Lieb inequality and its reverse (Barthe's inequality), and prove its information-theoretic (i.e.\ entropic) formulation. This result leads to a unified approach to functional inequalities such as the variational formula of Rényi entropy, hypercontractivity and its reverse, strong data processing inequalities, and transportation-cost inequalities, whose utility in the proofs of various coding theorems has gained growing popularity recently. We show that our information-theoretic setting is convenient for proving properties such as data processing, tensorization, convexity (Riesz-Thorin interpolation) and Gaussian optimality. In particular, we elaborate on a "doubling trick" used by Lieb and Geng-Nair to prove several results on Gaussian optimality. Several applications are discussed, including a generalization of the Brascamp-Lieb inequality involving Gaussian random transformations, the determination of Wyner's common information of vector Gaussian sources, and the achievable rate region of certain key generation problems in the case of vector Gaussian sources.

研究の動機と目的

• ブラスカム＝リーブ不等式とその逆（バルテの不等式）を、情報理論的枠組みの下で統一すること。
• 前向き・逆不等式を導入し、古典的および逆の関数不等式を共通の枠組みで捉えること。
• この枠組みが、データ処理、テンソル化、凸性（リース＝トールン補間）、ガウス分布の最適性といった性質を証明する有用性を示すこと。
• この枠組みを、ベクトルガウス源におけるワイナーの共通情報や鍵生成のレート領域といった、情報理論の新たな問題に応用すること。

提案手法

• 微分エントロピーとフィッシャー情報に基づいた、一般化された前向き・逆ブラスカム＝リーブ不等式を導入する。
• ガウス分布の回転不変性に由来する「二重化テクニック」を用いて、不等式におけるガウス分布の最適性を証明する。
• 弱収束と相対エントロピーの下半連続性を用いて、2次のモーメントが有界な分布の列の極限を扱う。
• エントロピーのパワー不等式とド・ブリュインの恒等式を用いて、ガウスノイズ下での微分エントロピーとフィッシャー情報の関係を確立する。
• ガウス分布が分散制約下でエントロピーを最大化することを用いて、極限におけるエントロピー項を評価する。
• 単調収束定理と切断技術を用いて、極限遷移における共分散行列のトレース項を制御する。

実験結果

リサーチクエスチョン

• RQ1 一様な情報理論的不等式が、ブラスカム＝リーブ不等式とその逆を統一できるか？
• RQ2 リーブの「二重化テクニック」を一般化された前向き・逆設定に適応し、ガウス分布の最適性を証明できるか？
• RQ3 この統一的枠組みが、強力なデータ処理不等式やハイパーコントラクト性に与える影響は何か？
• RQ4 この枠組みにより、ベクトルガウス源におけるワイナーの共通情報の正確な値を特定できるか？
• RQ5 このアプローチを用いて、ベクトルガウス源における鍵生成の実現可能レート領域はどのように特徴づけられるか？

主な発見

• 前向き・逆ブラスカム＝リーブ不等式が成り立つための必要十分条件は、すべての中心化ガウス関数について成り立つことである。これにより、統一的な枠組みにおいてガウス分布の最適性が確立される。
• 2次のモーメントが有界な確率的ベクトル列の微分エントロピーは、共分散が一様に有界であれば、弱収束のもとで上半連続であることが証明される。
• 共分散が一様に有界な条件下で、弱収束によってガウス分布に収束する確率的ベクトル列のエントロピーの極限は、極限となるガウス分布のエントロピーによって上から抑えられる。
• この枠組みにより、前向き・逆不等式の等号条件を活用して、ベクトルガウス源におけるワイナーの共通情報が特定可能である。
• 提案された不等式を用いることで、ベクトルガウス源における鍵生成の実現可能レート領域が特徴づけられ、従来の結果が多次元設定へと拡張される。
• 「二重化テクニック」と弱収束を用いた証明技法は、高次元におけるエントロピーおよび共分散表現の非退化極限を扱うにあたり、強固な手法を提供する。