[論文レビュー] Outlier-robust estimation of a sparse linear model using $\ell_1$-penalized Huber's $M$-estimator

Arnak S. Dalalyan, Philip Thompson|arXiv (Cornell University)|Apr 12, 2019

Advanced Statistical Methods and Models参考文献 48被引用数 4

ひとこと要約

本稿は、敵対的ラベル汚染下におけるロバストなスパース線形回帰のための $\mu\text{at}$-ペナルティ付きハッバーロスの $M$-推定法を提案する。この凸最適化手法が、非一貫性および転送原理の下で、対数要因を除き $(s/n)^{1/2} + (o/n)$ のミニマックス最適推定レートを達成することを確立しており、ラベルのみが汚染される状況において、ロバストで最適かつ計算的に実行可能な推定が凸法で可能であることを示している。

ABSTRACT

We study the problem of estimating a $p$-dimensional $s$-sparse vector in a linear model with Gaussian design and additive noise. In the case where the labels are contaminated by at most $o$ adversarial outliers, we prove that the $\ell_1$-penalized Huber's $M$-estimator based on $n$ samples attains the optimal rate of convergence $(s/n)^{1/2} + (o/n)$, up to a logarithmic factor. For more general design matrices, our results highlight the importance of two properties: the transfer principle and the incoherence property. These properties with suitable constants are shown to yield the optimal rates, up to log-factors, of robust estimation with adversarial contamination.

研究の動機と目的

• ハッバーロスと $\mu\text{at}$-ペナルティを用いた凸ペナルティ付き経験リスク最小化（PERM）が、敵対的ラベル汚染下のスパース線形回帰において最適レートを達成できるかどうかを検証すること。
• 応答変数に敵対的外れ値が存在する状況でも、$\mu\text{at}$-ペナルティ付きハッバーロス推定法がミニマックス最適収束レートに到達する条件を確立すること。
• 転送原理と非一貫性性の性質が、凸法による最適ロバスト推定を可能にする役割を強調すること。
• 計算的に実行可能な凸推定法が最適レートを達成できることを示し、従来の凸法がロバストなスパース回帰において最適でないという楽観的でない結果に対抗すること。

提案手法

• ハッバーロス関数を用いて、回帰係数 $\boldsymbol{\beta}$ と汚染インジケータ $\boldsymbol{\theta}$ における同時最小化問題に定式化する。
• 損失関数 $\frac{1}{2n}\|\boldsymbol{Y} - \mathbf{X}\boldsymbol{\beta} - \sqrt{n}\boldsymbol{\theta}\|_2^2 + \lambda_s\|\boldsymbol{\beta}\|_1 + \lambda_o\|\boldsymbol{\theta}\|_1$ を用いた $\ell_1$-ペナルティ付き経験リスク最小化（PERM）フレームワークを採用する。
• ガウス幅と集中不等式のアプローチを用いて理論的保証を確立し、設計行列に対する非一貫性および転送原理を活用する。
• 推定誤差を制御するため、$\|\mathbf{Z}^{(n)}\boldsymbol{v} + \boldsymbol{u}\|_2$ のノルムに対する下界を導出する。この際、$\ell_1$-球のガウス幅の境界を用いる。
• 最終的なレートにおける対数要因を低減するために、$\ell_1$-球と $\ell_2$-球の交差部分のガウス幅に対する精密な境界を適用する。
• 非一貫性および転送条件が満たされれば、推定法が対数要因を除きミニマックス最適レートに到達することを証明する。

実験結果

リサーチクエスチョン

• RQ1 ハッバーロスと $\ell_1$-ペナルティを用いた凸ペナルティ付き経験リスク最小化が、敵対的ラベル汚染下のスパース線形回帰においてミニマックス最適レートを達成できるか。
• RQ2 設計行列（例：非一貫性、転送原理）にどのような構造的条件が、凸法による最適ロバスト推定を保証するのに十分か。
• RQ3 敵対的外れ値が存在する状況で、$\ell_1$-ペナルティ付きハッバーロス推定法は、計算的に非実行可能な推定法を上回るか、同等の性能を発揮するか。
• RQ4 汚染割合 $o/n$ に対する緩い仮定のもとで、推定レートにおける対数要因を低減または除去できるか。
• RQ5 ラベル汚染下において、凸損失関数とペナルティ関数を用いた場合に、一貫性のあるサポート回復と最適推定を同時に達成できるか。

主な発見

• 敵対的ラベル汚染下で、$\ell_1$-ペナルティ付きハッバーロスの $M$-推定法は、対数要因を除き $\sigma\left(\frac{s\log(p/s)}{n}\right)^{1/2} + \frac{\sigma o}{n}$ のミニマックス最適レートを達成する。
• 設計行列 $\mathbf{X}$ の非一貫性性、特に $\boldsymbol{\Sigma}$ の対角成分が有界かつゼロから離れている場合、推定法の最適性が保証される。
• 転送原理と非一貫性性は、一般の設計行列に対して、対数要因を除き最適レートに到達するための十分条件である。
• $p > n$ であっても、$\boldsymbol{\beta}^*$ が $s$-スパースで、汚染 $\boldsymbol{\theta}^*$ が $o$-スパースであれば、推定法は計算的に実行可能であり、最適レートを達成する。
• よりタイトなガウス幅の境界の使用により、$o/n$ がゼロから離れているか、ゆっくり減少する場合に、レートから対数項を除去できる。
• 従来の凸法が敵対的汚染下で最適レートを達成できないという楽観的でない主張を反証し、このような手法が最適かつ計算的に効率的である可能性を示している。