[論文レビュー] New Algorithms for $M$-Estimation of Multivariate Location and Scatter

Lutz Duembgen, Klaus Nordhausen+1 more|arXiv (Cornell University)|Dec 23, 2013

Advanced Statistical Methods and Models参考文献 4被引用数 4

ひとこと要約

本稿では、2次テイラー展開と部分ニュートン・ラプソン手順を用いて、多次元位置および散乱のM推定法のためのより高速なアルゴリズムを提案する。固定点法に比べて計算速度が顕著に向上する。さらに、不完全U統計量を用いることで、対称化M推定法を高速化し、高次元設定下での効率的なロバストな多次元推定を可能にする。

ABSTRACT

We present new algorithms for $M$-estimators of multivariate scatter and location and for symmetrized $M$-estimators of multivariate scatter. The new algorithms are considerably faster than currently used fixed-point and related algorithms. The main idea is to utilize a second order Taylor expansion of the target functional and to devise a partial Newton-Raphson procedure. In connection with symmetrized $M$-estimators we work with incomplete $U$-statistics to accelerate our procedures initially.

研究の動機と目的

• 既存の固定点アルゴリズムによる多次元位置および散乱のM推定法における計算非効率性を解消すること。
• 対称化M推定法のためのより高速でスケーラブルなアルゴリズムを開発すること。
• 2次近似および不完全U統計量を活用することで、ロバストな多次元推定における計算コストを低減すること。
• 高次元データ設定下でのロバストM推定法の実用的応用を可能にすること。

提案手法

• 目的関数をより正確に近似するために、目的関数の2次テイラー展開を用いる。
• 反復的推定値の更新に部分ニュートン・ラプソン手順を用い、収束速度を向上させる。
• 対称化M推定法の文脈では、初期段階における計算負荷を軽減するために不完全U統計量を適用する。
• M推定法のロバスト性を保持しつつ、計算効率を最適化するアルゴリズム設計を実施する。
• U統計量のすべての対間項を完全に計算するのを避けるために、サンプリングに基づく近似を用いる。

実験結果

リサーチクエスチョン

• RQ1 2次テイラー展開は、多次元散乱および位置のM推定法アルゴリズムの収束速度を向上させ得るか？
• RQ2 推定精度を損なわずに、対称化M推定法の計算コストをどのように低減できるか？
• RQ3 部分ニュートン・ラプソン更新は、多次元M推定法における従来の固定点反復に比べて、どの程度優れているか？
• RQ4 不完全U統計量は、高次元における対称化M推定法の高速化に有効に用いることができるか？

主な発見

• 提案手法は、多次元散乱および位置のM推定法において、標準的な固定点法に比べて顕著に高速な収束を達成する。
• 2次テイラー展開の使用により、より正確な局所近似が可能となり、反復的更新が高速化される。
• 部分ニュートン・ラプソン手順により、収束に必要な反復回数が削減される。
• 不完全U統計量は、対称化M推定法における初期推定の計算効率の良い代替手段を提供する。