[論文レビュー] Adaptive Estimation of Nonparametric Functionals

Lin Liu, Rajarshi Mukherjee+2 more|arXiv (Cornell University)|Aug 3, 2016

Statistical Methods and Inference参考文献 45被引用数 7

ひとこと要約

本稿は、2次U統計量を用いた非パラメトリック機能の適応的推定の一般理論を構築し、パラメトリック、ノンパラメトリック、半パラメトリックな枠組みの間で自動的に適応する手法を可能にする。複雑なモデルにおける機能のレート最適な適合する適応的上界と下界を確立し、主な結果として、滑らかさおよび設計密度の正則性条件のもとで、$√{n}$-領域では半パラメトリック効率性が達成され、非$√{n}$-領域では最適な適応性が示される。

ABSTRACT

We provide general adaptive upper bounds for estimating nonparametric functionals based on second order U-statistics arising from finite dimensional approximation of the infinite dimensional models. We then provide examples of functionals for which the theory produces rate optimally matching adaptive upper and lower bounds. Our results are automatically adaptive in both parametric and nonparametric regimes of estimation and are automatically adaptive and semiparametric efficient in the regime of parametric convergence rate.

研究の動機と目的

• 既知の滑らかさ指数に依存する標準的手法に依存しない、複雑なモデルにおける非パラメトリック機能の一般的適応的推定理論の構築を目的とする。
• 線形および2次機能を超えて、1次影響関数が複数のヌイアンス関数に依存する非線形機能のクラスにまで拡張された適応的ミニマックス推定を目的とする。
• 異なる滑らかさクラスにおけるこのような機能の、レート最適に一致する適応的上界と下界を確立することを目的とする。
• $\sqrt{n}$-領域（推定量が自動的に半パラメトリックに効率的になる領域）および非$\sqrt{n}$-領域における自動適応を保証することを目的とする。
• 滑らかさの事前知識が不要であるにもかかわらず、最適な収束レートを維持する推定量の構築の課題に対処することを目的とする。

提案手法

• 関数をBesov-Hölder空間に属するものとして表現するため、ウェーブレット基底による無限次元モデルの有限次元近似に依存する。
• 非パラメトリック機能の推定に2次U統計量を用い、非$\sqrt{n}$-領域におけるバイアス補正と分散制御を可能にする。
• Lepskiの手法を用いて調整パrameterを自動的に選択し、未知の滑らかさ指数に依存しない。
• 推定量はウェーブレット基底への射影により構築され、ヌイアンス関数の取り扱いには多次元回帰および密度推定が用いられる。
• 理論的分析ではウェーブレット展開とモーメントバウンドを用い、バイアスと分散を制御し、最適なレートを保証する。
• 2次バイアス補正を可能にするために、説因変数の周辺密度の十分な滑らかさを仮定する。

実験結果

リサーチクエスチョン

• RQ1 滑らかさの事前知識がなくても、複雑な非パラメトリックモデルにおける非線形積分機能の適応的推定が可能か？
• RQ2 $\sqrt{n}$-領域および非$\sqrt{n}$-領域における機能の適応的推定の最適収束レートは何か？
• RQ3 2次U統計量をどのように用いることで、同時に適応的かつ半パラメトリックに効率的な推定量を構築できるか？
• RQ4 多次元モデルにおける適応的ミニマックス推定に必要な設計密度の正則性条件は何か？
• RQ5 影響関数が単純な密度を越えて複数のヌイアンス関数に依存する機能の理論を拡張可能か？

主な発見

• 本稿は、既知の下界と一致する適応的上界を非パラメトリック機能に対して確立し、滑らかさクラス全体にわたるレート最適性を証明する。
• $\sqrt{n}$-領域では、提案された推定量が滑らかさの知識なしに自動的に半パラメトリックに効率的であることが示される。
• 非$\sqrt{n}$-領域では、$\beta \leq d/4$ である Hölder-滑らかさ関数に対して、最適な収束レート $n^{-4\beta/(4\beta + d)}$ が達成され、ミニマックス下界と一致する。
• 理論は多次元回帰および密度を含む機能に適用可能で、性能は説因変数の周辺密度の滑らかさに依存する。
• 推定量は有界な出力に対してロバストであり、指数的尾部バウンドを用いることでより軽い尾部分布にも拡張可能である。
• 周辺密度が滑らかでない場合でも、$\sqrt{n}$-一貫性推定が可能であれば、この手法は有効であり、そのような状況では別個の構築が必要となる。