[論文レビュー] Robust Regression via Mutivariate Regression Depth

Chao Gao|arXiv (Cornell University)|Feb 15, 2017

Advanced Statistical Methods and Models参考文献 33被引用数 9

ひとこと要約

本稿では、Huberの$\epsilon$-contaminationモデルに対応するための、多次元回帰深度に基づくロバスト回帰フレームワークを提案する。経験的深度関数を最大化することで、非パラメトリック、スパース、低ランク、多次元回帰を含む多様な設定において、最小最大最適な誤差率を達成する。敵対的汚染下でも有効である。

ABSTRACT

This paper studies robust regression in the settings of Huber's $ε$-contamination models. We consider estimators that are maximizers of multivariate regression depth functions. These estimators are shown to achieve minimax rates in the settings of $ε$-contamination models for various regression problems including nonparametric regression, sparse linear regression, reduced rank regression, etc. We also discuss a general notion of depth function for linear operators that has potential applications in robust functional linear regression.

研究の動機と目的

• 最大$\epsilon$のデータ点が任意に破損する可能性がある$\epsilon$-contaminationの下でロバスト回帰の課題に対処すること。
• 非パラメトリック、スパース、低ランク、多次元回帰を含む多様な回帰モデルに対して、汚染下でも統計的最適性を保つ統一的な推定手順を開発すること。
• 高次元および非パラメトリック設定下で、$\epsilon$-contaminationモデルに従う深度ベース推定量の最小最大最適性を確立すること。
• 線形作用素に対する一般化された深さの概念を導入し、ロバスト関数線形回帰への応用を可能にすること。

提案手法

• 非ゼロ行列の集合$\mathcal{U}$に対して、多次元回帰深度を$\mathcal{D}_{\mathcal{U}}(B,\mathbb{P}) = \inf_{U\in\mathcal{U}} \mathbb{P}\left\{\langle U^T X, Y - B^T X \rangle \geq 0\right\}$として定義する。
• 経験的深度関数を最大化することで回帰パラメータ$B$を推定する：$\widehat{B} = \mathop{\rm argmax}_{B\in\mathcal{B}} \mathcal{D}_{\mathcal{U}}(B, \mathbb{P}_n)$。
• 非パラメトリック、スパース線形、ガウスグラフィカル、低ランクトレース、多次元、グループスパース、低ランク回帰の7つの異なる回帰問題に、深度ベース推定量を適用する。
• 曲率と集中の議論を用いて推定誤差の境界を導出し、深度関数の汚染に対するロバスト性に依存する。
• 深度最大化と最小最大リスクの関係を活用し、クリーンモデル性能と汚染由来誤差の最適なトレードオフを達成する深度ベース推定量の有効性を示す。
• 線形作用素に対する一般化された深さフレームワークを確立し、関数的および作用素値回帰設定への応用を可能にする。

実験結果

リサーチクエスチョン

• RQ1 一様なロバスト推定手順が、$\epsilon$-contaminationモデル下で多様な回帰モデルにおいて最小最大最適なレートを達成できるか？
• RQ2 最大$\epsilon$のデータが敵対的に破損する状況下で、多次元回帰深度関数がどのようにロバスト推定を可能にするか？
• RQ3 高次元および非パラメトリック設定下で、汚染下における深度ベース推定量の統計的性能はいかほどか？
• RQ4 深さフレームワークを線形作用素に一般化できるか？これにより、ロバスト関数線形回帰への応用が可能になるか？
• RQ5 汚染下における最小最大最適性の観点から、深度ベース推定量は既存手法と比較してどのように差をつけるか？

主な発見

• 非パラメトリック回帰において、深度ベース推定量は$\epsilon$-contaminationモデル下で最小最大最適な誤差率を達成し、誤差は$C\left(\frac{s\log(ep/s)}{n} \vee \epsilon^2 + \frac{\log(1/\delta)}{n}\right)$で有界である。
• スパース線形回帰において、推定量は高確率で$\ell_1$-誤差境界$\|\widehat{\beta} - \beta\|_1^2 \leq C\left(\frac{s^2\log(ep/s)}{n} \vee s\epsilon^2 + \frac{s\log(1/\delta)}{n}\right)$を満たす。
• ガウスグラフィカルモデルでは、精度行列推定量$\widehat{\Omega}$は高確率で$\|\widehat{\Omega} - \Omega\|_{\ell_1}^2 \leq C_4\left(\frac{s^2\log(ep/s)}{n} \vee s\epsilon^2 + \frac{s\log(1/\delta)}{n}\right)$を満たす。
• 多次元および低ランク回帰設定において、同手法は最小最大最適性を達成し、複数の応答変数の同時推定が汚染下で不可欠である。
• 深度ベースアプローチは、任意の汚染分布$Q$に対してロバストであり、$Q$が未知かつ敵対的であっても推定量は一貫性を保つ。
• 線形作用素に対する一般化された深さフレームワークを提案し、ロバスト関数線形回帰への応用が可能であり、深度ベース手法の適用範囲を拡張する。