[論文レビュー] Some new ideas in nonparametric estimation

Oleg Lepski|arXiv (Cornell University)|Mar 12, 2016

Advanced Statistical Methods and Models参考文献 2被引用数 4

ひとこと要約

本稿では、より単純な推定問題（問題A）の解を、共通のパrameter空間を介してより複雑な問題（問題B）に転送する、新しいデータ駆動型選択ルールを提案する。主な貢献は、最小限の仮定の下で問題Bにおける選択推定量の一般化されたオラクル不等式を確立することであり、密度推定やデコンボリューションなどの非パラメトリックモデルにおける適応的推定を可能にする。

ABSTRACT

In the framework of an abstract statistical model we discuss how to use the solution of one estimation problem ({\it Problem A}) in order to construct an estimator in another, completely different, {\it Problem B}. As a solution of {\it Problem A} we understand a data-driven selection from a given family of estimators $\mathbf{A}(\mH)=\big\{\widehat{A}_\mh, \mh\in\mH\big\}$ and establishing for the selected estimator so-called oracle inequality. %parameterized by some se t$\mH$. If $\hat{\mh}\in\mH$ is the selected parameter and $\mathbf{B}(\mH)=\big\{\widehat{B}_\mh, \mh\in\mH\big\}$ is an estimator's collection built in {\it Problem B} we suggest to use the estimator $\widehat{B}_{\hat{\mh}}$. We present very general selection rule led to selector $\hat{\mh}$ and find conditions under which the estimator $\widehat{B}_{\hat{\mh}}$ is reasonable. Our approach is illustrated by several examples related to adaptive estimation.

研究の動機と目的

• より単純な推定問題（問題A）の解を再利用する一般枠組みを構築し、より複雑で関係のない問題Bの推定量を構築すること。
• 2つの問題が性質や損失関数において異なる場合であっても、問題Aからのデータ駆動型選択子が問題Bで妥当な推定量を生成するための条件を確立すること。
• 問題Bにおける選択推定量に対してオラクル不等式を導出し、基礎的な滑らかさに関する事前知識がなくても適応的性能を保証すること。
• 1つの問題の解を別の問題に適用する共有パrameter化を通じて、既存の適応的推定手法を統一的かつ一般化すること。
• 特に多次元設定においても有効である密度推定や一般化デコンボリューションなどの非パラメトリックモデルへの適用可能性を示すこと。

提案手法

• 2つの推定問題（AとB）が共通のパrameter集合 $\mathfrak{H}$ を介して結びつけられる統一された統計モデルを導入し、選択ルールの転送を可能にする。
• 問題Aの解に基づくデータ駆動型選択子 $\hat{\mathfrak{h}}$ を提案し、バイアスと複雑さのトレードオフを最小化する一般的な選択ルールを用いる。
• 問題Bにおける選択推定量 $\widehat{B}_{\hat{\mathfrak{h}}}$ に対して一般化されたオラクル不等式を確立し、そのリスクが $\mathfrak{H}$ 上での最適リスクの定数倍以内に収まるように保証する。
• 上界関数技術とメトリックエントロピーの境界を用いて、特に多次元非パラメトリックモデルにおける選択推定量の確率的挙動を制御する。
• 関数不等式を通じて、2つの問題におけるバイアスと分散の項を関連付けることで、密度推定や一般化デコンボリューションなどの具体的なモデルにこの手法を適用する。
• ノルム同値性とヤングの不等式を用いて、元の関数の滑らかさに基づき $L_p$-ノルムの導関数を評価し、リスク境界の転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 より単純な推定問題（問題A）からのデータ駆動型選択子が、全く異なる性質を持つより複雑な問題（問題B）において、どのような条件下で妥当な推定量を構築できるか。
• RQ2 問題Bにおける選択推定量 $\widehat{B}_{\hat{\mathfrak{h}}}$ は、問題Aと同様のオラクル不等式を達成できるか。
• RQ3 密度推定問題の解をどのように活用して、微分推定や関数推定のための適応的推定量を構築できるか。
• RQ4 問題Aから問題Bへの適応的性質の転送を可能にするために、パrameter空間およびモデル構造に必要な最小限の仮定は何か。
• RQ5 多次元非パラメトリックモデルにおいて、バイアス、分散、滑らかさの間の関係をどのように形式化すれば、転送された問題における最適収束速度を保証できるか。

主な発見

• 選択推定量 $\widehat{B}_{\hat{\mathfrak{h}}}$ は、すべての $f \in \mathbb{F}$ に対して $\mathcal{R}_B[\widehat{B}_{\hat{\mathfrak{h}}}, f] \leq \inf_{\mathfrak{h} \in \mathfrak{H}} \mathcal{A}_\ell^{(n)}(f, \mathfrak{h}) + c r_n$ の形のオラクル不等式を満たし、$r_n \to 0$ が $n \to \infty$ のとき成り立つ。
• 一般化デコンボリューションモデルにおいて、最適収束速度 $\varphi_n^{(\mathfrak{m})}(\mathbb{N}_{p,d}(\vec{\beta}, L) \cap \mathfrak{P}_p) \asymp n^{-\frac{(1-1/\omega)(1-1/(p\wedge 2))}{1+(1/\beta)(1-1/(p\wedge 2))}}$ を達成する。
• 上界関数条件 $\limsup_{n \to \infty} n^a \varkappa_n(\mathbb{F}_{\mathfrak{a}}) = 0$ がすべての $a > 0$ に対して成り立つならば、オラクル不等式の有効性が保証される。
• 多次元密度モデルにおいて、バイアス項は $\|K_{\vec{h}} \star f - f\|_p \leq \mathbf{c}_{26} \prod_{j=1}^d h_j^{-m_j} (n \prod_{j=1}^d h_j)^{\frac{1}{p\wedge 2}-1}$ を満たし、これが問題Bにおけるリスクの制御に用いられる。
• 選択推定量 $\widehat{B}_{\hat{\mathfrak{h}}}$ は、基礎関数の未知の滑らかさに自動的に適合するため、適応的性能を達成する。
• 導出された境界は、Sobolev型滑らかさクラスにおける $L_p$-ノルムの既知のミニマックスレートと一致するため、鋭いものである。