[論文レビュー] Robust Estimation and Wavelet Thresholding in Partial Linear Models

Irène Gannaz|arXiv (Cornell University)|Dec 4, 2006

Advanced Statistical Methods and Models参考文献 26被引用数 9

ひとこと要約

本稿では、部分線形モデルにおけるパラメトリックおよびノンパラメトリック成分の推定に向け、ロバストなウェーブレットスレッショルド推定法を提案する。ウェーブレットスレッショルド推定をハーバーのM推定量に結びつけることで、外れ値に強い推定が可能となり、最小最大レートを達成する。半2次最適化に基づくアルゴリズムにより、反復的バックフィッティングを避けて効率的かつロバストな推定が実現され、有限標本においてバックフィッティングを上回り、ノンパラメトリック成分の弱い滑らかさ仮定のもとで理論的保証が得られる。

ABSTRACT

This paper is concerned with a semiparametric partially linear regression model with unknown regression coefficients, an unknown nonparametric function for the non-linear component, and unobservable Gaussian distributed random errors. We present a wavelet thresholding based estimation procedure to estimate the components of the partial linear model by establishing a connection between an $l_1$-penalty based wavelet estimator of the nonparametric component and Huber's M-estimation of a standard linear model with outliers. Some general results on the large sample properties of the estimates of both the parametric and the nonparametric part of the model are established. Simulations and a real example are used to illustrate the general results and to compare the proposed methodology with other methods available in the recent literature.

研究の動機と目的

• 外れ値に強い推定手順を部分線形モデルに開発し、ノンパラメトリック成分の弱い滑らかさ仮定に対応すること。
• 特にハーバー推定量を用いた線形モデルにおけるウェーブレットスレッショルド推定とM推定量の理論的関係を確立すること。
• 一般条件のもとで、パラメトリックおよびノンパラメトリック推定量の漸近的性質（一貫性、漸近正規性、最小最大レート）を導出すること。
• 反復的バックフィッティングを必要としない、半2次最適化に基づく数値的に効率的なアルゴリズムを提案すること。
• シミュレーションと実データ例を通じて、既存のバックフィッティングおよびウェーブレットに基づく手法と比較して、本手法の有効性を検証すること。

提案手法

• ノンパラメトリック成分はウェーブレット級数展開により表現され、スパースな係数表現が可能になる。
• ベソフ空間における適応的推定を達成するために、ソフト、ハード、またはSCADスレッショルド処理をウェーブレット係数に適用する。
• ウェーブレット係数推定問題は、ロバストな線形モデル推定問題に再定式化され、損失関数 $\rho_1$ を通じてハーバーのM推定量に結びつける。
• パラメトリック成分 $\boldsymbol{\beta}_0$ は、ウェーブレット領域における残差のM推定量に接続するペナルティ付き目的関数を最小化することで推定される。
• 半2次最適化アルゴリズムを用いて数値的実装が行われ、標準的なバックフィッティングに比べて収束性とロバスト性が向上する。
• バイアス、分散、収束レートの導出のため、バーダール表現と集中不等式を用いた漸近的理論が構築される。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレットスレッショルド推定を、外れ値に強い部分線形モデルにおけるロバストM推定量に体系的に結びつけることは可能か？
• RQ2 提案されたウェーブレットベースの推定量の漸近的性質（一貫性、漸近正規性、最小最大レート）は何か？
• RQ3 外れ値や弱い滑らかさの下で、有限標本において本手法はバックフィッティングおよび他のウェーブレット推定量と比べてどのように性能を発揮するか？
• RQ4 ウェーブレットスレッショルド推定とM推定量の関係を活用して、効率的かつ数値的に安定したアルゴリズムを設計できるか？
• RQ5 強い滑らかさ仮定を必要としない条件下でも、ノンパラメトリック推定において適応的最小最大レートを達成できるか？

主な発見

• ウェーブレットスレッショルド推定量は、$f$ がソボレフ空間だけでなくベソフ空間に属する場合でも、準最小最大漸近的レートを達成する。
• パラメトリック推定量 $\hat{\boldsymbol{\beta}}_n$ は漸近的に正規分布に従い、標準的な $\sqrt{n}$-レートを達成する。バイアスと分散はM推定量理論を用いて2次近似される。
• ウェーブレット係数の推定量 $\hat{\boldsymbol{\alpha}}_n$ は $\hat{\boldsymbol{\alpha}}_n = K_{0}^{\prime\prime -1} \left( \frac{1}{\sqrt{n}} \sum_{i=1}^n \rho_1'(d_i) \mathbf{R}_i \right) + o_\mathbb{P}(1)$ を満たし、直接的にハーバーのM推定量に結びつく。
• ノンパラメトリック推定誤差 $\| \hat{f}_n - f \|_2$ は $\mathbb{E} \left[ \frac{1}{n} \| \tilde{\boldsymbol{\theta}}_n - \boldsymbol{\theta}_0 \| \right] \leq C \left( \frac{\log n}{n} \right)^{s/(1+2s)}$ で有界であり、既知の最小最大レートと一致する。
• シミュレーションにおいて、本手法の有限標本性能は、外れ値や低スムーズ性の下でバックフィッティングを上回る。
• 本手法は $\| \hat{\boldsymbol{\beta}}_n - \boldsymbol{\beta}_0 \| = \circ_\mathbb{P}(\lambda / \sqrt{n})$ を達成し、閾値処理により適応的に選ばれた $\lambda$ を用いることで、ロバスト性と適応性が保証される。