[論文レビュー] Robust estimation with Lasso when outputs are adversarially contaminated

Takeyuki Sasai, Hironori Fujisawa|arXiv (Cornell University)|Apr 13, 2020

Statistical Methods and Inference参考文献 20被引用数 5

ひとこと要約

本稿は、出力への敵対的汚染が存在する高次元線形回帰に対して、L1ペナルティを伴うHuber損失関数を用いたロバストLasso推定量を提案する。Huber損失関数の特徴的構造、特に閾値で二次的から線形的へと挙動が変化する点を活用することで、$ O\left(\sqrt{\frac{s\log d}{n}} + \frac{o}{n}\sqrt{\log n\log\frac{n}{o}}\right) $ のより速い収束速度を確立した。これはDalalyanとThompson（2019）が得た最良の既知のレートと一致するが、従来の凸性およびリプシッツ連続性に基づく議論とは異なる、新たな証明技法によって達成された。

ABSTRACT

We consider robust estimation when outputs are adversarially contaminated. Nguyen and Tran (2012) proposed an extended Lasso for robust parameter estimation and then they showed the convergence rate of the estimation error. Recently, Dalalyan and Thompson (2019) gave some useful inequalities and then they showed a faster convergence rate than Nguyen and Tran (2012). They focused on the fact that the minimization problem of the extended Lasso can become that of the penalized Huber loss function with $L_1$ penalty. The distinguishing point is that the Huber loss function includes an extra tuning parameter, which is different from the conventional method. We give the proof, which is different from Dalalyan and Thompson (2019) and then we give the same convergence rate as Dalalyan and Thompson (2019). The significance of our proof is to use some specific properties of the Huber function. Such techniques have not been used in the past proofs.

研究の動機と目的

• 出力応答が敵対的に汚染されている場合の高次元線形回帰に対するロバスト推定手法の開発を目的とする。
• Huber損失関数の構造的性質を活用することで、敵対的汚染下でのLassoの既存の収束速度を改善することを目的とする。
• 一般の凸性およびリプシッツ連続性に依存する従来の手法とは異なる、収束速度解析のための新たな証明技法を提供することを目的とする。
• スパースな汚染条件下での回帰係数ベクトルの推定誤差の収束速度をより厳密に確立することを目的とする。

提案手法

• 本手法は、回帰係数および外れ値インジケーターの両方にL1ペナルティを伴うHuber損失関数を用いた罰則付き最適化問題を定式化する。
• 真の回帰係数 $\beta^*$ と敵対的汚染ベクトル $\theta^*$ を同時に推定する二パラメータ最適化フレームワークを導入する。
• 証明は、特に閾値で二次的から線形的へと変化する挙動を示すHuber損失関数の性質に着目した、新たな解析に依存する。
• 一般の滑らかさや凸性ではなく、Huber関数の特定の部分勾配および曲率性質に基づいて、重要な不等式を導出する。
• 制限固有値条件と推定誤差の $\ell_1$-ノルムのバウンドを分析に組み込む。
• スパarsityの程度 $\beta^*$ と $\theta^*$、および調整パラメータ $\lambda_s$ と $\lambda_o$ の間の相互作用を丁寧に評価することで、収束速度バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 Huber損失関数の特定の性質を活用することで、敵対的出力汚染下でのLasso推定における収束速度をさらに向上させられるか？
• RQ2 Huber関数の構造に基づく本手法の証明技法は、一般の凸性およびリプシッツ連続性に依存する従来の証明と比較してどのように異なるか？
• RQ3 収束速度を最も速くするための調整パラメータ $\lambda_s$ と $\lambda_o$ の最適なトレードオフは何か？
• RQ4 推定誤差 $\|\Sigma^{1/2}(\beta^* - \hat{\beta})\|_2$ の収束速度が最小化される条件は何か？
• RQ5 本手法は、DalalyanとThompson（2019）が得たのと同じ収束速度を達成しつつ、より洗練された別路線の証明戦略を用いることができるか？

主な発見

• 本稿は、推定誤差 $\|\Sigma^{1/2}(\beta^* - \hat{\beta})\|_2$ に対して $ O\left(\sqrt{\frac{s\log d}{n}} + \frac{o}{n}\sqrt{\log n\log\frac{n}{o}}\right) $ の収束速度を確立した。これはDalalyanとThompson（2019）が得た最良の既知のレートと一致する。
• 証明技法は、従来の研究とは根本的に異なり、特に閾値で二次的から線形的へと挙動が変化する点といった、Huber損失関数の特定の構造的性質を活用している。
• 外れ値数 $o$ が大きい場合、NguyenとTran（2012）の手法よりも鋭い収束速度を達成する。
• 解析により、$d \gg n$ の高次元設定下でも、$s$ と $o$ がスパースであれば収束速度がロバストであることが示された。
• 本稿は、誤差バウンドの重要な係数に正の下界を保証する条件 $a_1^2 > b_1 + \alpha^2$ が成立することを証明した。これは収束証明にとって不可欠である。
• 証明における条件（7.2）は、$s$ と $o$ が $n$ に対して十分に小さい場合に満たせることを示し、これにより高確率で収束速度が成立することが保証された。