[論文レビュー] Loss minimization and parameter estimation with heavy tails

Daniel Hsu, Sivan Sabato|arXiv (Cornell University)|Jan 1, 2016

Sparse and Compressive Sensing Techniques参考文献 44被引用数 91

ひとこと要約

この論文は、低次のモーメントが有界であることを前提として、重たい尾を持つ分布におけるパラメータ推定のための一般化された中央値の平均推定量を導入する。d次元の最小二乗回帰において、O(d log(1/δ))のサンプルで指数的集中を達成し、サブガウスィアンまたは有界なノイズの仮定なしにロバストな推定が可能である。

ABSTRACT

This work studies applications and generalizations of a simple estimation technique that provides exponential concentration under heavy-tailed distributions, assuming only bounded low-order moments. We show that the technique can be used for approximate minimization of smooth and strongly convex losses, and specifically for least squares linear regression. For instance, our d-dimensional estimator requires just O(d log(1/δ)) random samples to obtain a constant factor approximation to the optimal least squares loss with probability 1-δ, without requiring the covariates or noise to be bounded or subgaussian. We provide further applications to sparse linear regression and low-rank covariance matrix estimation with similar allowances on the noise and covariate distributions. The core technique is a generalization of the median-of-means estimator to arbitrary metric spaces.

研究の動機と目的

• 従来の方法が分散が無限大であるかサブガウスィアン仮定を必要とする重たい尾を持つ分布において、パラメータ推定の課題に取り組む。
• 任意の距離空間に適用可能な中央値の平均推定量の一般化を確立し、高次元およびサブガウスィアンでない設定でのロバスト性を向上させる。
• 有界またはサブガウスィアンな説明変数やノイズを仮定しない弱いモーメント条件下でも、線形回帰および低ランク共分散行列の推定を効率的かつ正確に行う。
• データの分布的仮定を最小限に抑えた滑らかで強い凸性を持つ損失関数の最小化に対する理論的保証を提供する。
• 重たい尾を持つノイズ下でのスパース線形回帰および共分散推定にまで、ロバスト推定手法の適用範囲を拡張する。

提案手法

• 古典的な中央値の平均推定量を任意の距離空間に一般化し、ユークリッド空間を超えたロバスト推定を可能にする。
• データをサブセットに分割する戦略を用い、局所的推定量を計算した後、距離空間における中央値をとることで外れ値への感受性を低減する。
• 距離空間における中央値の安定性を活用し、低次のモーメントが有界である限り、推定量が真のパラメータの周囲で指数的集中することを実現する。
• 滑らかで強い凸性を持つ損失関数（最小二乗を含む）の最小化に一般化された中央値の平均を適用し、高い確率での保証を得る。
• O(d log(1/δ))のサンプルで最適な最小二乗損失の定数倍近似が確率1−δで達成されることを示すサンプル複雑度の上限を導出する。
• スパース線形回帰および低ランク共分散行列推定にこのフレームワークを拡張し、構造的パrameter空間に適応した中央値の平均アプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 サブガウスィアンまたは有界なノイズを仮定しない、低次のモーメントが有界であるだけの条件下で、ロバストな推定手法を開発できるか？
• RQ2 実数直線を超えた距離空間へ、中央値の平均の原則をどのように一般化できるか？これにより、複雑なパrameter空間におけるロバスト推定が可能になる。
• RQ3 重たい尾を持つ分布下で、最適な最小二乗解の高確率近似を達成するために必要なサンプル複雑度はどの程度か？
• RQ4 一般化された中央値の平均は、スパース回帰や低ランク共分散推定といった構造的推定問題に効果的に適用可能か？
• RQ5 弱いモーメント仮定下で、この手法の集中性および推定誤差に関する理論的保証はどのようなものか？

主な発見

• 一般化された中央値の平均推定量は、低次のモーメントが有界である限り、真の値の周囲でパラメータ推定量が指数的集中することを達成する。
• d次元の最小二乗回帰において、この手法は確率1−δで最適損失の定数倍近似を得るため、O(d log(1/δ))のサンプルで十分である。
• 説明変数やノイズが重たい尾を持つ、サブガウスィアンである、あるいは無限大であっても、低次のモーメントが有界であれば推定量はロバストのままである。
• このフレームワークはスパース線形回帰へも成功裏に拡張され、弱いモーメント条件下でもサンプル効率とロバスト性を維持する。
• 同様のロバスト性保証のもとで、低ランク共分散行列推定を正確に行うことが可能である。サブガウスィアンまたは有界なデータを仮定しない。
• 理論的解析により、距離空間における中央値の平均アプローチが、重たい尾を持つデータが存在する状況でも強い高確率誤差境界を提供することが確認された。