[論文レビュー] Robust empirical mean Estimators

Matthieu Lerasle, Roberto I. Oliveira|arXiv (Cornell University)|Dec 16, 2011

Advanced Statistical Methods and Models参考文献 32被引用数 52

ひとこと要約

本稿では、分散や尖度の知識を必要とせず、正規分布に近い集中性を達成する、ブロック単位の中央値の平均に基づく頑健な経験的平均推定量を提案する。この手法により、重い尾を持つ、有界でないデータにおいても、推定量の頑健な集合と選択が可能となり、最小限の仮定のもとで非正規、不等分散、混合（mixing）設定への最適リスク境界の拡張が可能となる。

ABSTRACT

We study robust estimators of the mean of a probability measure $P$, called robust empirical mean estimators. This elementary construction is then used to revisit a problem of aggregation and a problem of estimator selection, extending these methods to not necessarily bounded collections of previous estimators. We consider then the problem of robust $M$-estimation. We propose a slightly more complicated construction to handle this problem and, as examples of applications, we apply our general approach to least-squares density estimation, to density estimation with Küllback loss and to a non-Gaussian, unbounded, random design and heteroscedastic regression problem. Finally, we show that our strategy can be used when the data are only assumed to be mixing.

研究の動機と目的

• 分散や尖度の知識を前提とせず、正規分布に近い集中性を達成する頑健な経験的平均推定量の開発を目的とする。
• 重い尾を持つ、有界でない推定量の集合に対して、頑健な集合と推定量選択の手法を拡張することを目的とする。
• 非正規、有界でない、不等分散の回帰および密度推定問題への頑健なM推定量の一般化を目的とする。
• 最小限のモーメント仮定のもとで、提案された推定量が対数因子を除き最適なリスク境界を維持することを目的とする。
• 従属観測のためのブロックベースの分解を活用することで、混合（mixing）データにフレームワークを適応させることを目的とする。

提案手法

• i.i.d.標本をV ≈ ln(δ⁻¹)個の均等なブロックに分割し、各ブロックの経験的平均を計算する。
• ブロック単位の経験的平均の中央値として最終推定量を構築することで、重い尾に対する頑健性を達成する。
• 集中不等式とブロック間の独立性を用いて、普遍定数Cを用いた高確率での逸脱バウンドを導出する。
• 各候補推定量をブロック統計量とみなして、中央値の平均構成を推定量選択および集合に応用する。
• M推定量のリスクを制御するためのマージン型仮定を導入し、最小二乗法および最尤密度推定への応用を可能にする。
• 経験過程理論と推定量の一様上界を用いて、結果を正規分布設定を超えて拡張する。

実験結果

リサーチクエスチョン

• RQ1 分散や尖度の知識がなくても、正規分布に近い集中性を達成する頑健な経験的平均推定量を構築可能か？
• RQ2 重い尾を持つデータ下で、有界でない推定量の集合に対して、頑健な集合と推定量選択をどのように拡張できるか？
• RQ3 非正規および不等分散設定下で、中央値の平均アプローチがM推定量の最適リスク境界を達成するための条件は何か？
• RQ4 ブロックベースの中央値の平均フレームワークを、従属的で混合（mixing）なデータストリームにどのように適応できるか？
• RQ5 高次元または複雑なモデルにおいて、頑健な経験的平均推定量は非頑健な対応物と比較してどの程度の効率性を維持できるか？

主な発見

• 提案された頑健な経験的平均推定量は、|P{m̂(δ) - m > Cσ√(ln(δ⁻¹)/n)} ≤ δ を満たし、σ や尖度の知識がなくても正規分布に近い集中性を達成する。
• ブロックベースの中央値の平均構成により、分布が重い尾を持つ場合でも頑健性が保証され、最適な逸脱バウンドが達成される。
• 最小二乗法密度推定において、計算可能で頑健な推定量選択が可能となり、従来の研究を有界でない辞書へと拡張する。
• M推定量の観点から、マージン型仮定のもとで、対数因子を除き最適なリスク境界が得られ、不等分散誤差を伴う回帰および密度推定に適用可能である。
• 標本を独立なブロックに分割することで、混合データにフレームワークを適用でき、従属的設定へのモデル選択手順の拡張が可能となる。
• 非凸な代替手法とは異なり、頑健な推定量は非頑健な対応物と同等の効率性を維持する。