[論文レビュー] Model selection for density estimation with L2-loss

Lucien Birgé|arXiv (Cornell University)|Aug 10, 2008

Statistical Methods and Inference参考文献 25被引用数 26

ひとこと要約

本稿では、二乗L2損失下での密度推定における一般化されたモデル選択手法を提案する。L∞に中心を置いたL2球間の検定を構築することで、任意の有限次元モデル—特に有界でない密度に対しても—最適なリスクバウンドを達成できる。主な貢献は、真の密度の未知のL∞ノルムに適応する普遍的なリスクバウンドを提供することであり、滑らかさや有界性に関する事前知識を必要としない。

ABSTRACT

We consider here estimation of an unknown probability density s belonging to L2(mu) where mu is a probability measure. We have at hand n i.i.d. observations with density s and use the squared L2-norm as our loss function. The purpose of this paper is to provide an abstract but completely general method for estimating s by model selection, allowing to handle arbitrary families of finite-dimensional (possibly non-linear) models and any density s belonging to L2(mu). We shall, in particular, consider the cases of unbounded densities and bounded densities with unknown bound and investigate how the L-infinity-norm of s may influence the risk. We shall also provide applications to adaptive estimation and aggregation of preliminary estimators. Although of a purely theoretical nature, our method leads to results that cannot presently be reached by more concrete methods.

研究の動機と目的

• 任意のモデルに対して、真の密度が有界でない場合やL∞ノルムが未知の場合でも、L2損失下での普遍的リスクバウンドが存在しないという問題を解決すること。
• 密度の滑らかさや有界性に関する事前知識を仮定せずに、最適な収束速度を達成する一般化されたモデル選択フレームワークを提供すること。
• 既存手法の限界を克服するため、L∞に中心を置いたL2球間の検定を構築し、未知の正則性に適応可能にする。
• 統一的な理論的枠組みを用いて、L2損失下での事前推定器の適応的推定と集合化を可能にする。
• 特に非線形または非パラメトリックな設定では到達できない、L2損失推定の理論的基盤を確立すること。

提案手法

• L∞内の密度を中心とするL2球間の検定に基づく一般化されたモデル選択手順を提案し、ランダム化意思決定ルールを用いて候補モデルから選択する。
• データに依存する距離尺度 $\mathcal{D}_{\mathbf{X}}(t_i)$ を定義し、モデル集合内における候補密度 $t_i$ と他の密度との分離度を測定する。
• 実現分布に近い密度 $t_j$ を $t_i$ よりも優先選択する検定統計量 $\psi(t_i, t_j, \mathbf{X})$ を構築し、誤差確率を制御する。
• 濃度不等式を用いて検定誤差確率の指数的バウンドを導出し、パrameter $a$ と普遍定数 $A$ を用いたメトリックエントロピー条件に依存する。
• 各 $\mathcal{D}_{\mathbf{X}}(t_i)$ を最小にするモデルを選択し、ペナルティ項 $\sqrt{A a^{-1}}$ を調整して最終推定子 $\widehat{s}_A$ を得る。
• 尾確率バウンド $\mathbb{P}_s[\mathcal{D}_{\mathbf{X}}(t_i) > x y_i] \leq B C(A) x^{-2A / \log 2}$ を確立し、リスクのモーメントバウンドを可能にする。

実験結果

リサーチクエスチョン

• RQ1 真の密度が有界でない場合でも、任意の有限次元モデルに対して、L2損失下での普遍的リスクバウンドを確立できるか？
• RQ2 真の密度の未知の $\mathbb{L}_\infty$-ノルムが、$\mathbb{L}_2$-損失下での推定リスクにどのように影響を与えるか？
• RQ3 真の密度の未知の正則性に適応するモデル選択手順を構築することは可能か？ その際、$\mathbb{L}_\infty$-ノルムに関する事前知識は不要である。
• RQ4 損失が二乗 $\mathbb{L}_2$-ノルムである場合、支配測度の変更に対して不変でないため、信頼性のあるモデル選択を保証するための理論的ツールは何か？
• RQ5 提案手法は、非線形モデルや有界でない密度に対しても、$\mathbb{L}_2$-リスクにおける最適収束速度を達成できるか？

主な発見

• 提案された推定子 $\widehat{s}_A$ は、$1 \leq q < 2A / \log 2$ に対して、リスクバウンド $\mathbb{E}_s[d^q(\widehat{s}_A, s)] \leq B C(A,q) \inf_{i \geq 1} \left[ d^q(s,t_i) \vee (a^{-1} i 2^i)^{q/2} \right]$ を達成する。これは定数の意味で最適である。
• 本手法は、真の密度 $s$ の未知の $\mathbb{L}_\infty$-ノルムに適応する普遍的リスクバウンドを提供し、滑らかさや有効性に関する事前知識を必要としない。
• L∞に中心を置いた $\mathbb{L}_2$-球間の検定が存在することを証明し、これが本手法の理論的妥当性の中心的役割を果たす。
• 本手法は、有界でない密度に対しても、既存手法が特別な場合にしか機能しないのに対し、$\mathbb{L}_2$-リスクにおいて最適な収束速度を達成する。
• 本手法は、L2損失下での事前推定器の適応的推定と集合化を可能にし、現在の具体的な手続きでは到達できない理論的保証を提供する。
• 尾確率バウンド $\mathbb{P}_s[\mathcal{D}_{\mathbf{X}}(t_i) > x y_i] \leq B C(A) x^{-2A / \log 2}$ により、推定子はほとんど確実に有限であり、期待値においても良好に振る舞うことが保証される。