[論文レビュー] Recursive estimation of the conditional geometric median in Hilbert spaces

Hervé Cardot, Peggy Cénac+1 more|arXiv (Cornell University)|Apr 14, 2012

Statistical Methods and Inference参考文献 19被引用数 11

ひとこと要約

本稿では、ヒルバート空間における条件付き幾何学的中央値を推定する再帰的確率的勾配アルゴリズムを提案する。カーネル重み付き $L_1$ 最小化を用いることで、ロバストでオンライン推定が可能となる。弱い条件のもとで、平均化推定量のほとんど確実収束、$L^2$ 速度、漸近正規性が確立され、条件付き分布およびバンド幅列の弱い正則性条件下で最適収束速度を達成する。

ABSTRACT

A recursive estimator of the conditional geometric median in Hilbert spaces is studied. It is based on a stochastic gradient algorithm whose aim is to minimize a weighted L1 criterion and is consequently well adapted for robust online estimation. The weights are controlled by a kernel function and an associated bandwidth. Almost sure convergence and L2 rates of convergence are proved under general conditions on the conditional distribution as well as the sequence of descent steps of the algorithm and the sequence of bandwidths. Asymptotic normality is also proved for the averaged version of the algorithm with an optimal rate of convergence. A simulation study confirms the interest of this new and fast algorithm when the sample sizes are large. Finally, the ability of these recursive algorithms to deal with very high-dimensional data is illustrated on the robust estimation of television audience profiles conditional on the total time spent watching television over a period of 24 hours.

研究の動機と目的

• 大規模なデータセットを保存せずに、ヒルバート空間における条件付き幾何学的中央値のロバストでオンライン推定量を開発すること。
• 高次元または関数型データにおいて、従来の条件付き期待値推定量の外れ値への感受性を軽減すること。
• 条件付き分布の近似に、カーネル重み付き $L_1$ 準拠を用いた再帰的推定技術を幾何学的中央値に拡張すること。
• 平均化された再帰的アルゴリズムの強力な漸近的性質—ほとんど確実収束、$L^2$ 速度、漸近正規性—を確立すること。
• テレビ視聴プロファイルのような大規模で高次元のデータに対して、本手法の効率性とスケーラビリティを示すこと。

提案手法

• 条件付き幾何学的中央値の推定に、カーネル重み付き経験的 $L_1$ 準拠を最小化する再帰的確率的勾配アルゴリズムを用いる。
• バンド幅列を介して制御されるカーネル重みを導入し、その値を0に減少させることで、条件付き分布の局所的近似を可能にする。
• 最適収束速度と漸近正規性を達成するために、再帰的推定量の平均化技術を適用する。
• 関数型または高次元データを扱うためにヒルバート空間フレームワークを採用し、幾何学的中央値は $\mathbb{E}[\|Y - \alpha\| - \|Y\|]$ の最小化により定義される。
• 条件付き分布間のマロウズ＝ワッサーライン距離を用いて表現される弱い正則性条件のもとで収束結果を導出する。
• マルティンゲール理論と集中不等式を用いて、平均化推定量のほとんど確実収束および漸近正規性を証明する。

実験結果

リサーチクエスチョン

• RQ1 確率的勾配降下に基づく再帰的アルゴリズムは、ヒルバート空間における条件付き幾何学的中央値の推定に対して一貫性を示すか？
• RQ2 カーネル重み付き再帰的推定量は、条件付き分布に関する一般条件のもとで最適な $L^2$ 収束速度を達成するか？
• RQ3 再帰的推定量の平均化版は、静的経験的最小化器と同一の極限分布を持つ漸近正規性を示すか？
• RQ4 勾配降下ステップサイズおよびバンド幅列が変化する条件下で、アルゴリズムのロバスト性と安定性はどのように評価されるか？
• RQ5 本手法は、テレビ視聴プロファイルのような大規模で高次元の関数型データを効果的に処理できるか？

主な発見

• 条件付き分布およびバンド幅列の弱い正則性条件下で、再帰的推定量はほとんど確実に真の条件付き幾何学的中央値に収束する。
• 平均化された再帰的推定量の $L^2$ 収束速度は最適であり、静的経験的最小化器の速度と一致する。
• 平均化推定量の漸近正規性が確立され、極限分布は静的推定量と同一である。
• シミュレーションにおいて、アルゴリズムは特に勾配降下ステップサイズが変化する状況でもロバストで安定していることが示された。
• テレビ視聴時間の合計に条件づけた視聴者プロファイルのロバスト推定を通じて、高次元データの処理に成功した。
• 理論的結果は、条件付き分布の正則性を測定するためのマロウズ＝ワッサーライン距離を用いて導出され、弱い仮定を許容する。