[論文レビュー] Redescending M-estimators and Deterministic Annealing, with Applications to Robust Regression and Tail Index Estimation

R. Frühwirth, W. Waltenberger|arXiv (Cornell University)|Jun 18, 2010

Advanced Statistical Methods and Models参考文献 16被引用数 8

ひとこと要約

本稿では、データ拡張と決定的アニーリングを用いて構築された新しいレッドスエンディングM推定量を提案する。温度がゼロに近づくと、この推定量はHuber型のスケップド・ミーンに収束する。本手法は初期値に依存しない収束を保証し、素粒子物理学における頂点検出および回帰診断による尾指数推定においてロバスト推定を可能にする。

ABSTRACT

A new type of redescending M-estimators is constructed, based on data augmentation with an unspecified outlier model. Necessary and sufficient conditions for the convergence of the resulting estimators to the Hubertype skipped mean are derived. By introducing a temperature parameter the concept of deterministic annealing can be applied, making the estimator insensitive to the starting point of the iteration. The properties of the annealing M-estimator as a function of the temperature are explored. Finally, two applications are presented. The first one is the robust estimation of interaction vertices in experimental particle physics, including outlier detection. The second one is the estimation of the tail index of a distribution from a sample using robust regression diagnostics.

研究の動機と目的

• 極端な外れ値に対してロバストで、初期値に依存しないレッドスエンディングM推定量の開発。
• 反復的推定の安定化と局所的最小値の回避のため、決定的アニーリングの適用。
• スケールが既知またはロバストに推定可能である場合のロバストな位置およびスケール推定の実現。
• 2つの実世界問題への応用：素粒子物理学における相互作用頂点の推定および回帰診断による尾指数推定。

提案手法

• インライヤー（正規分布）と不特定の外れ値の混合モデルを用いたデータ拡張により、レッドスエンディングM推定量を構築。
• EMアルゴリズムを用いて、インライヤー状態の事後確率を介して位置母数を推定。
• 温度パラメータを導入し、決定的アニーリングを実装することで最適化のランドスケープを滑らかにする。
• 温度T → 0のとき、アニーリング推定量がHuber型のスケップド・ミーンに収束するための必要十分条件を導出。
• Pareto分位数プロットにおける回帰診断のフレームワークでN型M推定量を前向き探索に適用。
• ロバスト回帰を用いてPareto分位数プロットの線形領域を特定することで、分布の尾指数を推定。

実験結果

リサーチクエスチョン

• RQ1 温度がゼロに近づくとき、アニーリングM推定量がHuber型のスケップド・ミーンに収束する条件は何か？
• RQ2 決定的アニーリングは反復的M推定量の収束のロバスト性をどのように向上させるか？
• RQ3 提案手法は高エネルギー物理学実験における外れ値の特定および相互作用頂点の推定に有効に機能するか？
• RQ4 最適なkの事前知識なしに、Pareto分位数プロットにおける線形領域を信頼性高く同定できるか？

主な発見

• アニーリングM推定量がHuber型のスケップド・ミーンに収束するのは、インライヤー密度が無限大で急変動する場合に限り、必要十分条件を満たす。
• 決定的アニーリングにより、反復の初期値に依存しない推定量が実現され、局所的最小値の問題が解消される。
• 尾指数推定において、アルゴリズムはPareto分位数プロットの線形領域を効果的に同定し、最適な場合に比べてわずかに多くのデータを含む傾向にあり、RMSEは多少上昇する。
• 自由度νが2から10のt分布に対して、アルゴリズムはサンプルの一部（p）を選択するが、νに応じて変動する。図10のボックスプロットは、最適なkを常に上回るデータの包含を示している。
• 得られる尾指数推定量のRMSEは最適なHill推定量より高いが、kの事前知識がない現実世界の状況でも実用的である。
• 標準的なロバスト回帰（例：LMS、LTS）に比べ、本手法は極端な尾部における線形トレンドを検出できるように設計されており、尾指数推定で優れた性能を示す。