[論文レビュー] Robust estimation of U-statistics

Émilien Joly, Gábor Lugosi|arXiv (Cornell University)|Apr 17, 2015

Bayesian Methods and Mixture Models参考文献 14被引用数 6

ひとこと要約

本稿では、カーネル分布が重たい尾を持つ場合でも、最小限のモーメント条件のもとで指数的尾確率を維持する、U統計量のロバストな中央値の平均推定量を導入する。これは、ArconesとGiné (1993) の古典的結果を一般化し、有限分散または $L^p$-可積分性でのみ仮定される $P$-退化核に対して最適なレートを達成する。これにより、クラスタリングなどの応用においても、弱いモーメント仮定のもとで信頼性の高い推定が可能になる。

ABSTRACT

An important part of the legacy of Evarist Giné is his fundamental contributions to our understanding of $U$-statistics and $U$-processes. In this paper we discuss the estimation of the mean of multivariate functions in case of possibly heavy-tailed distributions. In such situations, reliable estimates of the mean cannot be obtained by usual $U$-statistics. We introduce a new estimator, based on the so-called median-of-means technique. We develop performance bounds for this new estimator that generalizes an estimate of Arcones and Giné (1993), showing that the new estimator performs, under minimal moment conditions, as well as classical $U$-statistics for bounded random variables. We discuss an application of this estimator to clustering.

研究の動機と目的

• 重たい尾を持つ分布において分散が無限大であるか、尾の挙動が不安定である場合に古典的U統計量が失敗することを解決すること。
• カーネルが有限分散または $1 < p \leq 2$ の $L^p$-可積分性しか満たさない場合でも、集中性を維持するU統計量のロバスト推定量を開発すること。
• ArconesとGiné (1993) の指数的尾確率を、最小限のモーメント仮定のもとで、有界でない重たい尾を持つカーネルに一般化すること。
• データに重たい尾を示す可能性がある応用分野（例：クラスタリング）において、信頼性の高い推定を可能にすること。

提案手法

• 重たい尾を持つ状況下でも安定するように、中央値の平均技術に基づく新しいロバスト推定量を提案する。
• 標本を $B$ 個の互いに素なブロックに分割し、$|B| \geq n / (128 \lceil \log(N/\delta) \rceil)$ とする。
• ブロックごとのU統計量の中央値を計算し、最終的な推定量 $\overline{\Lambda}_{\mathcal{B}}(\mathcal{P})$ を得る。これにより外れ値への感受性が低下する。
• ホーフディング分解を用いてU統計量を一次および二次成分に分離する：$\Lambda_n = 2L_n + M_n$。
• チェビシェフの不等式と和集合の不等式を用いて、ブロック中央値が真の平均からどれほど逸脱するかを制御し、中央値のサブガウス性を活用する。
• カーネルの $L^p$-可積分性のもとで、中央値の平均推定量の指数的尾確率を導出する。これにより古典的結果が一般化される。

実験結果

リサーチクエスチョン

• RQ1 カーネルが有限分散または $L^p$-可積分性しか満たさない場合でも、指数的尾確率を維持するロバストなU統計量推定量を構築可能か？
• RQ2 中央値の平均手法は、重たい尾を持つデータの下でU統計量のロバスティシティをどのように向上させるか？
• RQ3 ArconesとGiné (1993) の性能バウンドは、有界でない重たい尾を持つカーネルに、どの程度まで最小限のモーメント仮定のもとで拡張可能か？
• RQ4 最小限のモーメント条件下で、ロバストな中央値の平均U統計量の収束レートは最適か？

主な発見

• 提案された中央値の平均推定量は、カーネルが有限分散しか持たない場合でも、古典的U統計量と同様に指数的尾確率を達成する。
• $P$-退化核の場合、ArconesとGiné (1993) と類似したバウンドが成立し、$L^p$-可積分性のもとで $1 < p \leq 2$ の場合、レート $O\left( \left( \frac{\log(1/\delta)}{n} \right)^{m/2} \right)$ を達成する。
• $L^p$-可積分性で $p \in (1,2]$ の場合、推定量は $O\left( \left( \frac{\log(1/\delta)}{n} \right)^{m/2} \right)$ の収束レートを達成し、有界カーネルの場合の最適レートと一致する。
• 中央値の平均アプローチにより、重たい尾分布に対してロバスティックであることが示された。クラスタリングに $\alpha$-安定分布ノイズを適用した応用でもその有効性が確認された。
• 高い確率で、$|\overline{\Lambda}_{\mathcal{B}}(\mathcal{P}) - \Lambda(\mathcal{P})| \leq C \sigma (W(\mathcal{P}) - W^*)^{\alpha/2} \sqrt{ \frac{\lceil \log(N/\delta) \rceil}{n} }$ の偏差バウンドが得られる。
• クラスタリング誤差に対する最終的なバウンドは、$(W(\widehat{\mathcal{P}}) - W^*)^{1 - \alpha/2} \leq 2K\sigma \sqrt{ \frac{\lceil \log(N/\delta) \rceil}{n} }$ を満たし、弱いモーメント仮定のもとで一貫性が証明される。