[논문 리뷰] Outlier-robust estimation of a sparse linear model using $\ell_1$-penalized Huber's $M$-estimator

Arnak S. Dalalyan, Philip Thompson|arXiv (Cornell University)|2019. 04. 12.

Advanced Statistical Methods and Models참고 문헌 48인용 수 4

한 줄 요약

이 논문은 적대적 레이블 오염 하에서 강건한 희소 선형 회귀를 위한 $\mu at$-패널티 허버의 $M$-추정량을 제안한다. 이는 볼록 최적화 접근법이 비선형성과 전이 원칙 하에서, 로그 인자들을 제외한 $(s/n)^{1/2} + (o/n)$ 의 최소 최대 최적 추정 속도를 달성함을 입증하며, 레이블만 손상된 경우 볼록 방법을 통해 강건하고 최적이며 계산적으로 타당한 추정이 가능함을 보여준다.

ABSTRACT

We study the problem of estimating a $p$-dimensional $s$-sparse vector in a linear model with Gaussian design and additive noise. In the case where the labels are contaminated by at most $o$ adversarial outliers, we prove that the $\ell_1$-penalized Huber's $M$-estimator based on $n$ samples attains the optimal rate of convergence $(s/n)^{1/2} + (o/n)$, up to a logarithmic factor. For more general design matrices, our results highlight the importance of two properties: the transfer principle and the incoherence property. These properties with suitable constants are shown to yield the optimal rates, up to log-factors, of robust estimation with adversarial contamination.

연구 동기 및 목표

• 허버 손실 함수와 $\mu at$-패널티를 갖는 볼록 최소화된 경험 리스크 최소화(PERM)가 적대적 레이블 오염 하에서 희소 선형 회귀에서 최적 속도를 달성할 수 있는지 판단하는 것.
• 응답 변수에 적대적 이상치가 존재하더라도 $\mu at$-패널티 허버 추정량이 최소 최대 최적 수렴 속도에 도달할 수 있는 조건을 규명하는 것.
• 전이 원리와 비일관성 성질이 볼록 방법을 통해 최적의 강건 추정을 가능하게 하는 역할를 부각하는 것.
• 계산적으로 타당한 볼록 추정량이 최적 속도를 달성할 수 있음을 보여주며, 이는 이전의 볼록 방법에 대한 낙관적 결과에 대비하여 강건한 희소 회귀에서의 성능을 뒤집는 것.

제안 방법

• 허버 손실 함수를 사용하여 회귀 계수 $\boldsymbol{\beta}$ 와 오염 지표 $\boldsymbol{\theta}$ 에 대한 동시 최소화 문제로 문제를 설정한다.
• 손실 함수 $\frac{1}{2n}\|\boldsymbol{Y} - \mathbf{X}\boldsymbol{\beta} - \sqrt{n}\boldsymbol{\theta}\|_2^2 + \lambda_s\|\boldsymbol{\beta}\|_1 + \lambda_o\|\boldsymbol{\theta}\|_1$ 를 갖는 $\ell_1$-패널티 경험 리스크 최소화(PERM) 프레임워크를 사용한다.
• 디자인 행렬에 대한 비일관성과 전이 원리를 활용하여, 가우시안 폭과 농도 분석을 통한 이론적 보장을 수립한다.
• 추정 오차를 통제하기 위해 $\|\mathbf{Z}^{(n)}\boldsymbol{v} + \boldsymbol{u}\|_2$ 의 노름에 하한을 도출하며, $\ell_1$-구의 가우시안 폭에 대한 경계를 활용한다.
• 최종 속도에서 로그 인자를 줄이기 위해 $\ell_1$-구와 $\ell_2$-구의 교차부분에 대한 정교한 가우시안 폭 경계를 적용한다.
• 비일관성과 전이 조건이 만족될 경우, 추정량이 로그 인자들을 제외한 최소 최대 최적 속도에 도달함을 증명한다.

실험 결과

연구 질문

• RQ1 허버 손실 함수와 $\ell_1$-패널티를 갖는 볼록 최소화된 경험 리스크 최소화가 적대적 레이블 오염 하에서 희소 선형 회귀에서 최소 최대 최적 속도를 달성할 수 있는가?
• RQ2 디자인 행렬(예: 비일관성, 전이 원리 등)에 대한 어떤 구조적 조건이 볼록 방법을 통한 최적의 강건 추정을 보장하는가?
• RQ3 $\ell_1$-패널티 허버 추정량이 적대적 이상치 존재 하에서 계산적으로 비가역적인 추정량보다 성능이 뛰어나거나 동등한가?
• RQ4 오염 비율 $o/n$ 에 대한 온건한 가정 하에서 추정 속도의 로그 인자를 줄이거나 제거할 수 있는가?
• RQ5 레이블 오염 하에서 볼록 손실 함수와 패널티 함수를 동시에 사용하여 일관된 지원 복구와 최적의 추정을 동시에 달성할 수 있는가?

주요 결과

• $\ell_1$-패널티 허버의 $M$-추정량은 적대적 레이블 오염 하에서 $\sigma\left(\frac{s\log(p/s)}{n}\right)^{1/2} + \frac{\sigma o}{n}$ 의 최소 최대 최적 속도를 로그 인자들을 제외한 범위 내에서 달성한다.
• 디자인 행렬 $\mathbf{X}$ 의 비일관성 성질, 특히 $\boldsymbol{\Sigma}$ 가 유계이고 0에서 멀리 떨어진 대각성분을 갖는 경우, 추정량의 최적성 보장된다.
• 전이 원리와 비일관성 성질은 일반적인 디자인 행렬에 대해 최적 속도에 도달할 수 있는 충분조건이며, 로그 인자들을 제외한 범위 내에서 성립한다.
• 디자인 행렬이 $p > n$ 인 경우에도, $\boldsymbol{\beta}^*$ 가 $s$-희소이고 오염 $\boldsymbol{\theta}^*$ 가 $o$-희소일 경우, 추정량은 여전히 계산적으로 타당하고 최적의 속도를 달성한다.
• 더 정밀한 가우시안 폭 경계의 사용으로 $o/n$ 이 0에서 멀리 떨어지거나 느리게 감소할 경우 속도에서 로그 항을 제거할 수 있다.
• 이전의 낙관적 주장과는 달리, 볼록 방법이 적대적 오염 하에서 최적 속도를 달성할 수 없다는 주장은 잘못되었으며, 이러한 방법이 최적성과 계산적 효율성을 동시에 확보할 수 있음을 입증한다.