[論文レビュー] Approximate loss minimization with heavy tails.

Daniel Hsu, Sivan Sabato|arXiv (Cornell University)|Jul 7, 2013

Sparse and Compressive Sensing Techniques被引用数 10

ひとこと要約

本稿では、メトリック空間における一般化された中央値の平均推定量を導入し、低次のモーメントが有界であるという最小限の仮定のもとで、重い尾を持つ分布下でも指数的集中を達成する。平滑で強い凸性を持つ損失関数の近似最小化において、$ ilde{O}(d\log(1/\delta))$ の最適な標本複雑度を達成する。これは、サブガウス性や有界な予測変数やノイズを仮定しない。

ABSTRACT

This work studies applications and generalizations of a simple estimation technique that provides exponential concentration under heavy-tailed distributions, assuming only bounded low-order moments. We show that the technique can be used for approximate minimization of smooth and strongly convex losses, and specifically for least squares linear regression. For instance, our $d$-dimensional estimator requires just $ ilde{O}(d\log(1/\delta))$ random samples to obtain a constant factor approximation to the optimal least squares loss with probability $1-\delta$, without requiring the covariates or noise to be bounded or subgaussian. We provide further applications to sparse linear regression and low-rank covariance matrix estimation with similar allowances on the noise and covariate distributions. The core technique is a generalization of the median-of-means estimator to arbitrary metric spaces.

研究の動機と目的

• 重い尾を持つ分布下でも、低次のモーメントが有界であるという条件下で、強い集中性を維持するロバスト推定手法を開発すること。
• 中央値の平均の原則を実数値データに限らず、任意のメトリック空間へと拡張し、より広範な適用可能性を実現すること。
• 高次元設定における平滑かつ強い凸性を持つ損失関数の近似最小化に対して、最適な標本複雑度を達成すること。
• 弱い分布的仮定のもとで、最小二乗回帰、スパース線形回帰、低ランク共分散推定といった実用的問題への応用を図ること。
• 高次元推定タスクにおいて、サブガウス性や有界性を要件としないことで、現実世界のロバストネスを向上させること。

提案手法

• 実験的リスク最小化の空間における幾何的中央値を用いて、古典的な中央値の平均推定量を任意のメトリック空間へ一般化する。
• データをグループに分割し、各グループに対してリスク最小化推定量を計算した後、それら推定量の幾何的中央値をとるパーティショニング戦略を採用する。
• 損失関数の安定性とメトリック構造に依存することで、元の分布が重い尾を持つ場合でも集中性を保証する。
• サブガウス性や有界性の要件を避けるために、有界な低次のモーメント（例：2次のモーメント）を最小限の仮定とする。
• 特定の問題への一般化された中央値の平均の適用：最小二乗回帰、スパース回帰、低ランク共分散推定。
• 幾何的中央値の収縮性を活用し、メトリック空間における集中不等式を用いて理論的保証を確立する。

実験結果

リサーチクエスチョン

• RQ1 中央値の平均の原則をメトリック空間へ一般化することで、重い尾を持つ分布下でも指数的集中を維持できるか？
• RQ2 弱いモーメント仮定のもとで、高次元回帰における最適損失の定数倍近似を達成するための最適な標本複雑度は何か？
• RQ3 スパース線形回帰や低ランク共分散推定にこの手法を適用できるか？その際、サブガウス性や有界なノイズを要件としないか？
• RQ4 データ分布が重い尾を持つ場合、一般化された中央値の平均推定量の性能は、古典的推定量と比べてどうなるか？
• RQ5 非サブガウス的設定で強い集中性を達成するために必要な最小限のモーメント条件は何か？

主な発見

• 提案された推定量は、$d$次元において、$\tilde{O}(d\log(1/\delta))$ のサンプル数で、最適な最小二乗損失の定数倍近似を確率 $1 - \delta$ で達成する。
• 予測変数やノイズにサブガウス性や有界性の仮定を一切必要とせず、有界な低次のモーメントに依存する。
• 一般化された中央値の平均推定量は、重い尾を持つ分布下でも、メトリック空間において指数的集中を保証する。
• この手法はスパース線形回帰に応用可能であり、弱いモーメント条件のもとでロバスト性を発揮する。
• 低ランク共分散行列推定において、要素が有界またはサブガウス的でない場合でも、ロバストな推定が可能である。
• 理論的枠組みにより、実験的リスク最小化推定量の幾何的中央値が、高次元設定においてロバスト性と最適な標本複雑度を提供することが示された。