[論文レビュー] Adaptive Huber Regression: Optimality and Phase Transition

Qiang Sun, Wen‐Xin Zhou+1 more|arXiv (Cornell University)|Jun 21, 2017

Statistical Methods and Inference被引用数 9

ひとこと要約

本稿では、標本サイズ、次元、モーメント条件に応じてロバスト化パラメータを調整する適応的Huber回帰を提案し、バイアスとロバスト性の最適なトレードオフを達成する。最小限のモーメント仮定（δ > 0 に対する (1+δ)-次のモーメント）のもとで、δ ≥ 1 の場合にサブガウス型の偏差バウンドを、0 < δ < 1 の場合に遅い収束速度を達成する鋭いフェーズ遷移を確立し、重い尾を持つ設定でもロバスト推定を可能にする。

ABSTRACT

Big data can easily be contaminated by outliers or contain variables with heavy-tailed distributions, which makes many conventional methods inadequate. To address this challenge, we propose the adaptive Huber regression for robust estimation and inference. The key observation is that the robustification parameter should adapt to the sample size, dimension and moments for optimal tradeoff between bias and robustness. Our theoretical framework deals with heavy-tailed distributions with bounded $(1+\delta)$-th moment for any $\delta > 0$. We establish a sharp phase transition for robust estimation of regression parameters in both low and high dimensions: when $\delta \geq 1$, the estimator admits a sub-Gaussian-type deviation bound without sub-Gaussian assumptions on the data, while only a slower rate is available in the regime $0<\delta< 1$. Furthermore, this transition is smooth and optimal. In addition, we extend the methodology to allow both heavy-tailed predictors and observation noise. Simulation studies lend further support to the theory. In a genetic study of cancer cell lines that exhibit heavy-tailedness, the proposed methods are shown to be more robust and predictive.

研究の動機と目的

• 従来の手法が失敗する高次元かつ重い尾を持つデータの設定におけるロバスト推定を解決すること。
• 標本サイズ、次元、およびモーメント構造に応じてHuber損失のチューニングパラメータを適応的に調整する手法を開発すること。
• 最小限のモーメント仮定、特にδ > 0 に対する有界な (1+δ)-次のモーメントの下で、推定と推論の理論的保証を確立すること。
• 予測変数と誤差分布の両方が重い尾を持つ状況に対応するフレームワークを拡張すること。
• シミュレーションとがん細胞株の実世界の遺伝学的研究を通じて、経験的優位性を示すこと。

提案手法

• 標本サイズ n、次元 p、誤差分布の (1+δ)-次のモーメントに応じてロバスト化パラメータをチューニングする適応的Huber回帰推定量を提案する。
• バイアスとロバスト性の最適なバランスを実現する、データ駆動型のHuber損失チューニングパラメータの選択を導入する。
• n、p、δ の相互作用を考慮する新しい分析フレームワークを用いて、推定誤差の理論的バウンドを確立する。
• サブガウス型の尾の挙動を達成する偏差バウンドを導出するが、サブガウス性の仮定は不要である。
• 損失関数と推定手順を変更することで、重い尾を持つ設計行列と重い尾を持つ誤差を扱えるようにメソッドを拡張する。
• 弱いモーメント条件のもとで有効性を保つロバストな推論フレームワークを採用する。

実験結果

リサーチクエスチョン

• RQ1 重い尾を持つ誤差の下で高次元回帰においてHuber損失パラメータの最適チューニング戦略は何か？
• RQ2 Huber回帰の推定性能は、誤差分布のモーメント構造、特に (1+δ)-次のモーメントにどのように依存するか？
• RQ3 サブガウス性の仮定なしにサブガウス型の偏差バウンドを達成可能か？どのような条件下で可能か？
• RQ4 予測変数と誤差の両方が重い尾を持つ場合、この手法はどのように性能を発揮するか？
• RQ5 δ が (0,1) と [1,∞) の範囲を変化させた際の推定精度におけるフェーズ遷移の挙動は何か？

主な発見

• δ ≥ 1 の場合、データのサブガウス性を仮定しない状況でも、適応的Huber推定量はサブガウス型の偏差バウンドを達成する。
• 0 < δ < 1 の場合、(1+δ)-次のモーメント条件のもとで、遅いが依然として最適な収束速度を達成する。
• 2つの領域間のフェーズ遷移は鋭く滑らかであり、δ = 1 で統計的挙動に明確な変化が生じることを示している。
• シミュレーションおよび実データの両方で、予測変数と誤差項の両方が重い尾を持つ状況でも、この手法はロバストで効果的であることが検証された。
• 重い尾を持つ反応変数を伴うがん細胞株の遺伝学的研究において、提案手法は従来の手法に比べて優れた予測性能とロバスト性を示した。
• Huberパラメータの適応的チューニングにより、有限標本における性能が向上し、バイアスとロバスト性のバランスが改善された。