[論文レビュー] Optimal Transportation to the Entropy-Power Inequality

Olivier Rioul|arXiv (Cornell University)|Jan 30, 2017

Advanced Thermodynamics and Statistical Mechanics参考文献 31被引用数 8

ひとこと要約

本稿では、ガウス確率変数を任意の確率変数に写像する単純な変数変換を用いて、エントロピー・パワー不等式（EPI）の新しい最適輸送に基づく証明を提示する。この手法により、輸送写像を用いてEPIおよびその逆不等式が確立され、等号成立条件（ガウス変数）が自然に捉えられ、リーマンエントロピーおよびヤングの不等式へと一般化され、一貫した洗練された枠組みによって、いくつかの古典的結果が統一される。

ABSTRACT

We present a simple proof of the entropy-power inequality using an optimal transportation argument which takes the form of a simple change of variables. The same argument yields a reverse inequality involving a conditional differential entropy which has its own interest. It can also be generalized in various ways. The equality case is easily captured by this method and the proof is formally identical in one and several dimensions.

研究の動機と目的

• 最適輸送を用いた単純で統一的なエントロピー・パワー不等式（EPI）の証明を提供すること。
• 同一の枠組み内で等号成立条件（ガウス変数）を自然に捉えること。
• EPIをリーマンエントロピーへ一般化し、鋭いヤングの畳み込み不等式と関連付けること。
• 同じ輸送論拠が、条件付き微分エントロピーを含む逆不等式を導くことの証明。
• 直線的変換や行列変換を含む多次元的および一般化された設定へこの手法を拡張すること。

提案手法

• X* が標準ガウス分布に従うとき、T(X*) が X と同じ分布に従うような輸送写像 T を用いる。
• X および Y に同一の変換を適用し、i.i.d. ガウス変数を任意の i.i.d. 変数に写像し、√λX + √(1−λ)Y の構造を保存する。
• 変数変換の公式とジュールンの不等式を用いて、和の微分エントロピーをガウスの場合と比較する。
• エントロピーのスケーリング性と、与えられたパワーに対してガウス分布がエントロピーを最大にするという事実に依拠する。
• 共役指数 p, q, r が 1/p' + 1/q' = 1/r' を満たし、λ と 1−λ と関連づけることで、リーマンエントロピーへ同じアプローチを拡張する。
• 直交行列を用いて多次元ケースへ、および正規直交行を持つ行列を用いて行列変換へと拡張し、エントロピー不等式の構造を保存する。

実験結果

リサーチクエスチョン

• RQ1 最適輸送写像を用いた単純な変数変換により、エントロピー・パワー不等式を証明できるか？
• RQ2 この手法が、変数がガウス分布のときの等号成立条件を自然に捉えられるか？
• RQ3 同じ輸送論拠が、条件付き微分エントロピーを含む逆不等式を導けるか？
• RQ4 リーマンエントロピーのためのEPIが、同じ輸送に基づく枠組みで導出可能か？
• RQ5 この手法が鋭いヤングの不等式およびその逆不等式とどのように関係するか？

主な発見

• ガウス変数を任意の変数に写像する変数変換を用いた証明により、エントロピー・パワー不等式が直接的かつ素朴に証明される。
• EPIにおける等号成立条件は、変数がガウス分布のとき輸送写像が恒等写像になるため、自動的に捉えられる。
• 同じ手法により、条件付き微分エントロピーを含む逆不等式が導出され、これは独立に重要である。
• リーマンエントロピーへ一般化され、輸送論拠の極限として一般化されたEPIが回復される。
• このアプローチによりEPIと鋭いヤングの不等式が統一される：リーマンEPIは鋭いヤングの不等式と同値であり、p,q,r→1 の極限で古典的EPIが回復される。
• 直交行列および正規直交行を持つ行列を用いて、多次元的および線形変換されたケースへ証明が拡張され、エントロピー不等式の構造が保存される。