[論文レビュー] Entropy Jumps for Radially Symmetric Random Vectors

Thomas A. Courtade|arXiv (Cornell University)|Aug 18, 2016

Stochastic processes and financial applications参考文献 23被引用数 4

ひとこと要約

本稿は、次元 $ d \geq 2 $ の独立同分布に従う径向的対称な確率的ベクトルに対して、エントロピーの増加量の定量的下界を確立する。これは、スケーリングされた畳み込みにおけるエントロピー増加が、$ D(X) $ を同じ共分散を持つガウス分布との相対エントロピーとして、少なくとも $ C_\varepsilon(X) D(X)^{1+\varepsilon} $ に達することを示している。この結果は、ランダウ方程式からのエントロピー生成推定値を活用し、スペクトルギャップや対数凸性といった強い正則性仮定を避け、代わりに径向的対称性に依存している。

ABSTRACT

We establish a quantitative bound on the entropy jump associated to the sum of independent, identically distributed (IID) radially symmetric random vectors having dimension greater than one. Following the usual approach, we first consider the analogous problem of Fisher information dissipation, and then integrate along the Ornstein-Uhlenbeck semigroup to obtain an entropic inequality. In a departure from previous work, we appeal to a result by Desvillettes and Villani on entropy production associated to the Landau equation. This obviates strong regularity assumptions, such as presence of a spectral gap and log-concavity of densities, but comes at the expense of radial symmetry. As an application, we give a quantitative estimate of the deficit in the Gaussian logarithmic Sobolev inequality for radially symmetric functions.

研究の動機と目的

• 次元 $ d \geq 2 $ における独立同分布に従う径向的対称な確率的ベクトルの和に対するエントロピー生成の定量的下界を確立すること。
• 径向的対称な密度関数に対するガウス型対数ソボレフ不等式の不足分の非漸近的かつ明示的な推定を提供すること。
• スペクトルギャップや対数凸性といった強い正則性仮定を避けることで、先行研究の制限を克服すること。
• オーランシュタイン＝ウーレンの半群におけるエントロピー散逸と、非ガウス初期データに対するランダウ方程式のエントロピー生成を結びつけること。

提案手法

• アプローチは、オーランシュタイン＝ウーレン半群に沿ったフィッシャー情報量の散逸を分析することから始まり、エントロピーとフィッシャー情報量の双対性を利用する。
• スペクトルギャップや対数凸性の仮定を回避するために、デスヴィレットとヴィラニによるランダウ方程式におけるエントロピー生成に関する結果を適用する。
• 径向的対称性を活用して、エントロピージャンプ $ h(\frac{1}{\sqrt{2}}(X+X_*)) - h(X) $ の非自明な下界を導出する。
• 重要なステップとして、半群に沿ったフィッシャー情報量の散逸を統合し、エントロピー不等式を回復する。
• 密度関数 $ f $ に対する正則性条件を、モーメントと滑らかさを用いて定量的に定義し、定数 $ C_\varepsilon(X) $ を定義する。
• 証明は測度の変更とモーメントの上限に依存しており、特に $ \mathbb{E}|X|^{4+\delta} < \infty $ が $ \delta > 0 $ に対して成り立つと仮定する。

実験結果

リサーチクエスチョン

• RQ1 スペクトルギャップや対数凸性を仮定せずに、独立同分布に従う径向的対称な確率的ベクトルに対するエントロピー生成の定量的下界を確立できるか？
• RQ2 相対エントロピー不足 $ D(X) $ とエントロピージャンプのスケーリング関係は、特に高次元においてどのように変化するか？
• RQ3 運動論的理論（ランダウ方程式）の結果が、高次元確率における情報理論的不等式にどの程度寄与できるか？
• RQ4 密度関数の正則性とモーメントにのみ依存する一様なエントロピー生成の下界を導出することは可能か？

主な発見

• 任意の $ \varepsilon > 0 $ に対して、エントロピージャンプは $ h(\frac{1}{\sqrt{2}}(X+X_*)) - h(X) \geq C_\varepsilon(X) D(X)^{1+\varepsilon} $ を満たす。ここで $ C_\varepsilon(X) $ は $ \varepsilon $、$ f $ の正則性、および $ X $ の有限個のモーメントに依存する。
• $ \mathbb{E}|X|^{4+\delta} < \infty $ が $ \delta > 0 $ に対して成り立つならば、$ C_{2/\delta}(X) > 0 $ であり、非退化な下界が保証される。
• 対数凸性やスペクトルギャップの仮定を必要とせず、代わりに径向的対称性とモーメント条件に依存している。
• 先行研究で用いられるコンパクト性の議論を回避し、明示的かつ定量的なバウンドを導出している。
• エントロピージャンプは $ X $ がガウス分布でない限り正であり、畳み込みにおけるエントロピーの増加速度を定量的に特定している。
• 解析により、ランダウ方程式のエントロピー生成とエントロピー中心極限定理を結びつけ、安定性推定への新たな道筋を提供している。