[論文レビュー] Entropy and the fourth moment phenomenon

Ivan Nourdin, Giovanni Peccati+1 more|arXiv (Cornell University)|Apr 4, 2013

Random Matrices and Applications参考文献 47被引用数 4

ひとこと要約

本稿は、スティーブン要因とド・ブリュイーンの恒等式を用いた、エントロピーに基づく新規手法を導入し、高次元ガウス乱雑力学的ベクトルの全 Variation 結果に関する定量的バインディングを導出する。全 Variation における収束速度が、混沌の順序に依存せず明示的に得られ、ガウス場の非線形関数に対する多次元的4次モーメント現象における未解決問題を解消する。

ABSTRACT

We develop a new method for bounding the relative entropy of a random vector in terms of its Stein factors. Our approach is based on a novel representation for the score function of smoothly perturbed random variables, as well as on the de Bruijn's identity of information theory. When applied to sequences of functionals of a general Gaussian field, our results can be combined with the Carbery-Wright inequality in order to yield multidimensional entropic rates of convergence that coincide, up to a logarithmic factor, with those achievable in smooth distances (such as the 1-Wasserstein distance). In particular, our findings settle the open problem of proving a quantitative version of the multidimensional fourth moment theorem for random vectors having chaotic components, with explicit rates of convergence in total variation that are independent of the order of the associated Wiener chaoses. The results proved in the present paper are outside the scope of other existing techniques, such as for instance the multidimensional Stein's method for normal approximations.

研究の動機と目的

• スティーブン要因とド・ブリュイーンの恒等式を用いて、ランダムベクトルの相対エントロピーをバインディングする情報理論的手法を新たに開発すること。
• ガウス場の非線形関数に対する多次元的4次モーメント定理の明示的かつ秩序に依存しない全 Variation 収束速度を求める未解決問題に取り組むこと。
• 古典的スティーブンの方法および滑らかな距離近似の範囲を超えて、既存の技術を拡張すること。
• マルヤヴィン微積分とカーバリー＝ライト不等式を活用し、高次元的・非線形設定におけるエントロピーと全 Variation 距離を制御すること。
• 有限ウィエンル・カオス内関数の列に対する鋭い定量的エントロピー中心極限定理を確立すること

提案手法

• 一般化された部分積分公式を用いて、相対エントロピーの新しい表現をスティーブン要因の観点から導出すること。
• ド・ブリュイーンの恒等式を適用し、オルンシュタイン＝フーレル半群に 沿った相対エントロピーの微分を摂動されたベクトルのフィッシャー情報に結びつけること。
• マルヤヴィン微積分を用いて、ウィエンル・カオス内関数のためのスティーブン行列を表現し、特にマルヤヴィン微分の内積の条件付き期待値を通じて表現すること。
• スティーブン行列のモーメント推定とハイパーコントラクト性を用いて、全 Variation 距離の一様バインディングを確立すること。
• カーバリー＝ライト不等式とエントロピー境界を組み合わせ、混沌的関数の尾部挙動を制御すること。
• エントロピーおよび全 Variation 距離推定におけるパラメータを最適化し、カオスの順序に依存しない明示的収束速度を導出すること

実験結果

リサーチクエスチョン

• RQ1 高次元ランダムベクトルの相対エントロピーは、スティーブン要因とド・ブリュイーンの恒等式のみを用いてバインディング可能か？
• RQ2 有限ウィエンル・カオス内関数の列がガウスベクトルに収束する際の全 Variation 収束速度は何か？
• RQ3 エントロピー法を用いて、多次元的4次モーメント定理に対して明示的かつカオス順序に依存しない収束速度を導出可能か？
• RQ4 スティーブン要因とド・ブリュイーンの公式は、非線形的・非i.i.d.設定において、古典的スティーブンの方法をどの程度置き換えることができるか？
• RQ5 カーバリー＝ライト不等式はエントロピーに基づくバインディングとどのように作用し、高次元的カオスにおける鋭い収束速度をもたらすか？

主な発見

• 本稿は、スティーブン要因に基づく相対エントロピーの新しい表現を確立し、モーメントおよび共分散情報によるエントロピーの精密な制御を可能にする。
• スティーブン行列とド・ブリュイーンの恒等式を用いて、任意の2次モーメントが有限であるランダムベクトルに対して、全 Variation 距離の一般バインディングを導出する。
• 有限ウィエンル・カオス内関数の列に対して、ガウスターゲットへの全 Variation 距離は、ある $ \beta > 0 $ に対して $ (1-t)^\beta $ のオーダーで収束するが、カオスの順序に依存しない。
• 滑らかな距離（例：1-Wasserstein）で達成可能なものと同等の明示的全 Variation 収束速度が得られ、対数因子の差異を除いて一致する。
• 本手法により、ウィエンル・カオスの次数 $ q $ に依存しない定量的バインディングが得られ、多次元的4次モーメント定理における長年の未解決問題が解決される。
• 得られた結果は古典的スティーブンの方法の範囲外にあり、非線形的・非i.i.d.ガウス場関数の関数に対しても拡張可能である。