[論文レビュー] Le cam theory on the comparison of statistical models

Ester Mariucci|arXiv (Cornell University)|May 11, 2016

Mathematical and Theoretical Analysis参考文献 1被引用数 11

ひとこと要約

本稿は、Le Cam距離を用いた統計的モデルの比較に関するLe Cam理論の包括的概説を提示する。非パラメトリック密度推定とガウス白色ノイズモデルの間の漸近的同値性に焦点を当てている。適切な条件下で、二項分解能 $ m = n^{1/(2+\nu)} $ を選ぶと、これらのモデル間の欠損距離は $ 0 < \nu \leq \frac{1}{2} $ の場合 $ O(n^{-\frac{\nu}{2(\nu+2)}} \log n) $ のレートで収束し、$ \frac{1}{2} < \nu \leq 1 $ の場合 $ O(n^{-\frac{1}{10}} \log n) $ のレートで収束する。

ABSTRACT

We recall the main concepts of the Le Cam theory of statistical experiments , especially the notion of Le Cam distance and its properties. We also review classical tools for bounding such a distance before presenting some examples. A proof of the classical equivalence result between density estimation problems and Gaussian white noise models will be analyzed.

研究の動機と目的

• 数学的統計および非パラメトリック推論分野の研究者向けに、Le Camの統計的実験理論への自己完結的でアクセス可能な入門を提供すること。
• 特に非漸近的および漸近的状況において、Le Cam距離および欠損の役割を明確にすること。
• 構成的近似技術を用いて、非パラメトリック密度推定とガウス白色ノイズモデルの間の漸近的同値性を示すこと。
• Hölder滑らかさを持つ密度クラス（パrameter $ \gamma, K, \varepsilon, M $）におけるLe Cam距離の収束レートを精確に導出すること。

提案手法

• Le Cam距離 $ \delta(\mathscr{P}_1, \mathscr{P}_2) $ を、$ \mathscr{P}_1 $ と $ \mathscr{P}_2 $ 間の欠損の下限として定義し、統計的意思決定リスクの最小損失を定量化する。
• 確率測度間の全 Variation 距離を用いて、三角不等式およびカップリング論法によりLe Cam距離を評価する。
• i.i.d. 密度モデル $ \mathscr{P}_{1,n} $ のための多項分布近似 $ \mathcal{M}(n; \theta_1, \dots, \theta_m) $ を構築し、密度推定問題の離散化を図る。ここで二項分解能は $ m $ とする。
• 独立増分を持つガウス過程を用いて多項分布モデルにガウス近似を適用し、制御された誤差項 $ \frac{m \ln m}{\sqrt{n}} $ を導入する。
• 測度変換の議論と $ \sqrt{f} $ のテイラー展開を用いて、ガウス近似とガウス白色ノイズモデル $ \mathscr{P}_{2,n} $ 間の漸近的同値性を確立する。
• 近似誤差をバランスさせるために、二項分解能 $ m $ を $ m = n^{1/(2+\gamma)} $ として最適化し、最終的なLe Cam距離の収束レートを導出する。

実験結果

リサーチクエスチョン

• RQ1 どのような条件下で、Le Camの意味で密度推定モデルがガウス白色ノイズモデルと漸近的に同値となるか？
• RQ2 非パラメトリック密度モデルとガウス白色ノイズモデルの間のLe Cam距離の最適収束レートは何か？
• RQ3 二項分解能 $ m $ の選択が、密度推定からガウス近似への移行における近似誤差にどのように影響するか？
• RQ4 滑らかさパrameter $ \gamma $ は、Le Cam距離の収束レートを決定づける役割を果たすか？
• RQ5 すべての有界損失関数に対して、2つのモデル間の欠損を一様に境界づけることは可能か？また、これは統計的意思決定リスクとどのように関係するか？

主な発見

• 非パラメトリック密度推定モデル $ \mathscr{P}_{1,n} $ とガウス白色ノイズモデル $ \mathscr{P}_{2,n} $ 間のLe Cam距離は、$ 0 < \gamma \leq \frac{1}{2} $ の場合、$ O\big{(}n^{-\frac{\gamma}{2(\gamma+2)}} \log n\big{)} $ で有界である。
• $ \frac{1}{2} < \gamma \leq 1 $ の場合、Le Cam距離は $ O\big{(}n^{-\frac{1}{10}} \log n\big{)} $ のレートで収束し、滑らかさの高い場合よりも収束が遅いことが示された。
• 最適な二項分解能は $ m = n^{1/(2+\gamma)} $ であり、多項分布近似誤差とガウス近似誤差のバランスを取るために最適化されている。
• 多項分布モデルとガウス白色ノイズモデルの間の欠損は $ O\big{(}\sqrt{n}(m^{-3/2} + m^{-1-\gamma})\big{)} $ である。これは全体の収束レートを支配する。
• 関数 $ \sqrt{f} $ のテイラー展開からの近似誤差は、$ f $ のHölder正則性によって制御され、内部区間では $ O(m^{-1-\gamma}) $、境界区間では $ O(m^{-3/2}) $ のオーダーで有界である。
• 構築されたガウス過程 $ y_t^* $ と真のガウス過程 $ y_t $ 間の全 Variation 距離は、$ \sqrt{4n \int_0^1 (\widehat{\sqrt{f}}_m(y) - \sqrt{f}(y))^2 dy} $ で有界であり、これはLe Cam距離と同程度のオーダーであることが示された。