[논문 리뷰] Robust estimation with Lasso when outputs are adversarially contaminated

Takeyuki Sasai, Hironori Fujisawa|arXiv (Cornell University)|2020. 04. 13.

Statistical Methods and Inference참고 문헌 20인용 수 5

한 줄 요약

이 논문은 출력에 대한 적대적 오염이 존재하는 고차원 선형 회귀에서 강건한 Lasso 추정기법을 제안하며, 임계값에서 제곱에서 선형 행동으로의 전이를 특징으로 하는 Huber 손실 함수와 L1 펜alties를 활용한다. Huber 손실의 특정 구조적 성질—특히 이 손실이 임계값에서 제곱에서 선형으로 전이되는 성질—을 이용하여, $ O\left(\sqrt{\frac{s\log d}{n}} + \frac{o}{n}\sqrt{\log n\log\frac{n}{o}}\right) $ 의 더 빠른 수렴 속도를 확립한다. 이는 Dalalyan과 Thompson(2019)가 이룩한 최고 수준의 수렴 속도를 달성하지만, 이전의 볼록성 및 리프시츠 연속성 기반의 접근 방식을 초월하는 새로운 증명 기법을 통해 달성된다.

ABSTRACT

We consider robust estimation when outputs are adversarially contaminated. Nguyen and Tran (2012) proposed an extended Lasso for robust parameter estimation and then they showed the convergence rate of the estimation error. Recently, Dalalyan and Thompson (2019) gave some useful inequalities and then they showed a faster convergence rate than Nguyen and Tran (2012). They focused on the fact that the minimization problem of the extended Lasso can become that of the penalized Huber loss function with $L_1$ penalty. The distinguishing point is that the Huber loss function includes an extra tuning parameter, which is different from the conventional method. We give the proof, which is different from Dalalyan and Thompson (2019) and then we give the same convergence rate as Dalalyan and Thompson (2019). The significance of our proof is to use some specific properties of the Huber function. Such techniques have not been used in the past proofs.

연구 동기 및 목표

• 출력 반응이 적대적으로 오염된 경우 고차원 선형 회귀에 대한 강건한 추정 방법을 개발하는 것.
• Huber 손실 함수의 구조적 성질을 활용하여 기존의 적대적 오염 하에서 Lasso의 수렴 속도를 향상시키는 것.
• 이전의 일반적인 볼록성과 리프시츠 연속성에 의존하는 접근 방식과 다름없는 새로운 수렴 속도 분석을 위한 증명 기법을 제공하는 것.
• 희박한 오염 조건 하에서 회귀 계수 벡터의 추정 오차에 대해 더 날카운 수렴 속도를 확립하는 것.

제안 방법

• 이 방법은 회귀 계수와 이상치 지표에 대한 L1 펜alty를 포함한 Huber 손실 함수를 사용하는 정규화된 최적화 문제를 설정한다.
• 진짜 회귀 계수 $\beta^*$ 와 적대적 오염 벡터 $\theta^*$ 를 동시에 추정하는 이중 매개변수 최적화 프레임워크를 도입한다.
• 증명은 Huber 손실 함수의 행동, 특히 제곱에서 선형 성장으로의 전이가 일어나는 임계값에서의 성질에 대한 새로운 분석에 기반한다.
• 일반적인 부드러움이나 볼록성 대신, Huber 함수의 특정 부분미분과 곡률 성질을 이용한 핵심 부등식을 유도한다.
• 제한된 고유값 조건과 추정 오차의 $\ell_1$-노름에 대한 경계를 분석에 통합한다.
• 희박성과 조정 매개변수 $\lambda_s$ 및 $\lambda_o$ 간의 상호작용을 정교하게 평가함으로써 수렴 속도 경계를 확립한다.

실험 결과

연구 질문

• RQ1 Huber 손실 함수의 특정 성질을 활용함으로써, 적대적 출력 오염 하에서 Lasso 추정의 수렴 속도를 더 빠르게 달성할 수 있는가?
• RQ2 Huber 함수의 구조에 기반한 제안된 증명 기법은 일반적인 볼록성과 리프시츠 연속성에 의존하는 이전의 증명 방식과 비교해 어떻게 다른가?
• RQ3 수렴 속도를 최대한 빠르게 하기 위해 조정 매개변수 $\lambda_s$ 와 $\lambda_o$ 사이의 최적의 트레이드오프는 무엇인가?
• RQ4 추정 오차 $\|\Sigma^{1/2}(\beta^* - \hat{\beta})\|_2$ 의 수렴 속도가 최소가 되는 조건은 무엇인가?
• RQ5 제안된 방법은 Dalalyan과 Thompson(2019)가 확보한 수렴 속도를 동일하게 달성할 수 있으며, 더 정교한 증명 전략을 사용하는가?

주요 결과

• 논문은 추정 오차 $\|\Sigma^{1/2}(\beta^* - \hat{\beta})\|_2$ 에 대해 $ O\left(\sqrt{\frac{s\log d}{n}} + \frac{o}{n}\sqrt{\log n\log\frac{n}{o}}\right) $ 의 수렴 속도를 확립하였으며, 이는 Dalalyan과 Thompson(2019)가 확보한 최고 수준의 속도와 일치한다.
• 증명 기법은 이전의 연구와 근본적으로 다르며, 특히 임계값에서 제곱에서 선형 행동으로의 전이를 특징으로 하는 Huber 손실 함수의 특정 구조적 성질을 활용한다.
• 특히 이상치 수 $o$ 가 클 경우 Nguyen과 Tran(2012)의 결과보다 더 날카운 수렴 속도를 달성한다.
• 분석 결과, $d \gg n$ 인 고차원 설정에서도 $s$ 와 $o$ 가 희박하다면 수렴 속도가 강건함을 보여준다.
• 논문은 오차 경계의 핵심 계수에 대해 양의 하한을 보장하는 조건 $a_1^2 > b_1 + \alpha^2$ 가 성립함을 증명한다. 이는 수렴 증명에 필수적이다.
• 수렴 속도가 높은 확률로 유지되기 위해 증명의 조건 (7.2) 는 $s$ 와 $o$ 가 $n$ 대비 충분히 작을 경우 만족 가능함을 보여준다.