[論文レビュー] Robust and efficient estimation of high dimensional scatter and location

Ricardo A. Maronna, Vı́ctor J. Yohai|arXiv (Cornell University)|Apr 13, 2015

Advanced Statistical Methods and Models参考文献 21被引用数 5

ひとこと要約

本稿では、高次元多変量位置および散らばり行列のためのロバストで効率的な推定器を提案する。主に非単調な重み関数を有するS推定量（Rocke型）とMM推定量に焦点を当てている。$ p \geq 15 $ の場合、PeñaとPrietoによる半決定的プロシージャで初期化されたRocke推定量は、高い効率性とロバスト性を両立する。一方、$ p < 15 $ の場合、MM推定量が、従来のMCDおよびMVE推定量を上回る効率性と外れ値耐性を示す。

ABSTRACT

We deal with the equivariant estimation of scatter and location for p-dimensional data, giving emphasis to scatter. It it important that the estimators possess both a high efficiency for normal data and a high resistance to outliers, that is, a low bias under contamination. The most frequently employed estimators are not quite satisfactory in this respect. The Minimum Volume Ellipsoid (MVE) and Minimum Covariance Determinant (MCD) estimators are known to have a very low efficiency. S-Estimators (Davies 1987) with a monotonic weight function like the bisquare behave satisfactorily for "small" p, say p not larger than 10. Rocke (1996) showed that their efficiency tends to one with increasing p. Unfortunately, this advantage is paid with a serious loss of robustness for large p. We consider three families of estimators with controllable efficiencies: non-monotonic S-estimators (Rocke 1996), MM-estimators (Tatsuoka and Tyler 2000) and tau-estimators (Lopuhaa 1991), whose performance for large p has not been explored to date. Two types of starting estimators are employed: the MVE computed through subsampling, and a semi-deterministic procedure proposed by Peña and Prieto (2007) for outlier detection. A simulation study shows that the Rocke and MM estimators starting from the Peña-Prieto estimator and with an adequate tuning, can simultaneously attain high efficiency and high robustness.

研究の動機と目的

• 従来のMCDおよびMVE推定量が低効率性を示す高次元設定において、等価推定量の限界を克服すること。特に、単調な重み関数を有するS推定量は次元が増加するにつれてロバスト性を失う。
• 高次元の混合状態下で、非単調S推定量（Rocke型）、MM推定量、$\tau$-推定量、Stahel-Donoho推定量の4つの推定量族を評価・比較すること。
• 初期推定量の選択が計算効率および統計的性能に与える影響を評価すること。特に、サブサンプリングと半決定的Peña-Prietoプロシージャの比較を行うこと。
• 正規分布データに対する高い効率性と混合状態下でのロバスト性を同時に最大化するための最適なチューニング定数および重み関数を同定すること。
• 次元 $ p $ に基づいた推定量の選択に関する経験的ガイドラインを確立すること。$ p \geq 15 $ にはRocke推定量を、$ p < 15 $ にはMM推定量を推奨する。

提案手法

• 非単調な重み関数をS推定に用い、特にRocke（1996）のアプローチを採用することで、高次元でも高い効率性を維持しながらロバスト性を保つ。
• MM推定量を採用し、高ブレイクダウン初期推定量と高効率な再重み付けを組み合わせる。マハラノビス距離のロバストスケールを根拠とする。
• PeñaとPrieto（2007）による半決定的初期化プロシージャを適用し、外れ値検出を実施。これにより、サブサンプリングに比べて計算速度と推定精度が向上する。
• ロバスト性の評価に、混合状態下での期待バイアスの尺度としてカルバック・ライバラー距離を用いる。ブレイクダウンポイントに加えて補完的役割を果たす。
• Stahel-Donoho推定量には有限個の方向を適用し、ハードリジェクト重み関数 $ W(t) = \mathbf{1}(t \leq \beta) $ を使用。KSD変種では、尖度に基づく方向選択に焦点を当てる。
• 有限標本効率性およびロバスト性指標を用いて、次元 $ p $、混合レベル、標本サイズのさまざまな条件下で、推定量を包括的に比較するシミュレーションスタディを実施。

実験結果

リサーチクエスチョン

• RQ1 非単調S推定量（Rocke型）は、高次元設定（$ p \geq 15 $）において、高い効率性と高いロバスト性を同時に達成できるか？
• RQ2 初期推定量の選択（サブサンプリング対Peña-Prietoプロシージャ）が、ロバストな散らばりおよび位置推定量の性能にどのように影響するか？
• RQ3 低次元データ（$ p < 15 $）において、MM推定量は他の等価推定量を上回る効率性およびロバスト性を示すか？
• RQ4 楕円分布に対するポイントマス混合状態下で、KSD推定量の理論的ロバスト性（カルバック・ライバラー距離およびブレイクダウンポイントの観点から）はいかなるものか？
• RQ5 異なる次元において、正規分布データに対する高い効率性と混合状態下での低バイアスを両立させるためのチューニング定数を設定可能か？

主な発見

• Peña-Prietoプロシージャで初期化され、適切にチューニングされたRocke推定量は、$ p \geq 15 $ の場合、高い効率性と高いロバスト性を両立し、単調S推定量およびMCDを上回る性能を示す。
• $ p < 15 $ の場合、他の手法（MCDやMVEを含む）に比べて優れた効率性とロバスト性を示すため、MM推定量が推奨される。
• 半決定的Peña-Prieto初期化プロシージャは、MCDおよび他の反復的推定量と比較して、計算時間を短縮し、推定精度を向上させる。
• 単調な重み関数を有するS推定量（例：バイスキューブ）は、$ p $ が小さい場合に低効率性を示す。$ p $ が増加すると効率性は向上するが、高次元ではロバスト性を失う。
• 理論的分析により、尖度に基づく方向選択とハードリジェクト重み関数を用いるKSD推定量は、一変量推定量 $ \mu $ と $ \sigma $ がそれぞれ0.5ブレイクダウンである場合、ポイントマス混合状態下でブレイクダウンポイントが0.5に達することが示された。
• シミュレーションスタディにより、Peña-Prieto初期化を施したRocke推定量は、$ p \geq 15 $ の範囲で、中程度の標本サイズでも混合状態下で低バイアスを維持し、高い効率性を示すことが確認された。