[논문 리뷰] High Dimensional Robust Sparse Regression

Liu Liu, Yanyao Shen외 2명|arXiv (Cornell University)|2018. 05. 29.

Sparse and Compressive Sensing Techniques참고 문헌 44인용 수 26

한 줄 요약

이 논문은 반복적 딱딱 임계 처리(Iterative Hard Thresholding, IHT)의 강건한 변종을 기반으로 한 새로운 강건한 희소 회귀 알고리즘을 제안하며, 공변수와 반응값 양측에 임의의 오염이 존재하는 상황에서도 부분선형 샘플 복잡도와 거의 최적의 오차 보장을 달성한다. 노이즈가 없는 경우 정확한 복원을 달성하고, 구조적 공분산이 알려져 있지 않은 경우도 고려하기 위해 무작위 필터링 기법을 사용한 강건한 희소 평균 추정을 수행한다.

ABSTRACT

We provide a novel -- and to the best of our knowledge, the first -- algorithm for high dimensional sparse regression with constant fraction of corruptions in explanatory and/or response variables. Our algorithm recovers the true sparse parameters with sub-linear sample complexity, in the presence of a constant fraction of arbitrary corruptions. Our main contribution is a robust variant of Iterative Hard Thresholding. Using this, we provide accurate estimators: when the covariance matrix in sparse regression is identity, our error guarantee is near information-theoretically optimal. We then deal with robust sparse regression with unknown structured covariance matrix. We propose a filtering algorithm which consists of a novel randomized outlier removal technique for robust sparse mean estimation that may be of interest in its own right: the filtering algorithm is flexible enough to deal with unknown covariance. Also, it is orderwise more efficient computationally than the ellipsoid algorithm. Using sub-linear sample complexity, our algorithm achieves the best known (and first) error guarantee. We demonstrate the effectiveness on large-scale sparse regression problems with arbitrary corruptions.

연구 동기 및 목표

• 공변수와 반응 변수 양측에 임의의 오염이 존재하는 상황에서도 정확도를 유지하면서 고차원 희소 회귀에 대해 계산적으로 효율적인 알고리즘을 개발하는 것.
• 차원 d에 대해 부분선형 샘플 복잡도 스케일링을 달성하면서도, 오직 희소성 k와 오염 비율 ε에 의존하는 복원 보장을 유지하는 것.
• 기존 방법이 알려진 또는 항등 공분산을 요구하는 데 비해, 알려져 있지 않은 구조적 공분산 행렬을 처리하는 강건한 희소 회귀를 수행하는 것.
• 실제 고차원 설정에서 입력과 출력에 대해 일정 비율의 임의의 오염이 존재하는 상황에서, 강건한 희소 회귀에 대해 처음으로 오차 보장을 제공하는 것.
• 알려져 있지 않은 공분산 구조에 대해 계산적으로 효율적이고 유연한 강건한 희소 평균 추정을 위한 필터링 알고리즘을 설계하는 것.

제안 방법

• 오염된 샘플을 걸러내는 동시에 희소 매개변수를 반복적으로 추정하는 강건한 IHT의 변종을 제안한다.
• 알려져 있지 않은 공분산 조건에서도 효과적인 강건한 희소 평균 추정을 위한 새로운 무작위 이상치 제거 기법을 필터링 서브루틴으로 활용한다.
• 기존 타원체 기반 방법을 대체하기 위해, 오염된 샘플을 식별하고 제거하기 위해 필터링 단계에서 추적 노름 최대화를 사용한다.
• 표본 분할과 알고리즘 3를 통한 강건한 기울기 추정을 적용하여 오염 조건 하에서도 수렴을 보장한다.
• 알려져 있지 않은 공분산 조건 하에서도 고차원 설정에서 효율적인 계산을 위해 희소 주성분 분석 솔버를 활용한다.
• 필터링 알고리즘을 강건한 회귀 프레임워크에 통합하여 선형 수렴과 거의 최적의 오차 범위를 유지한다.

실험 결과

연구 질문

• RQ1 공변수와 반응값 양측에 임의의 오염이 존재하는 고차원 희소 회귀에서 부분선형 샘플 복잡도를 달성할 수 있는가?
• RQ2 알려져 있지 않은 구조적 공분산 행렬 조건 하에서도 근사적으로 최적의 오차 보장을 유지하는 강건한 희소 회귀 알고리즘을 설계할 수 있는가?
• RQ3 강건한 희소 평균 추정을 위한 필터링 기반 접근법이 기존의 타원체 알고리즘에 비해 계산 효율성과 유연성 면에서 뛰어나게 작동할 수 있는가?
• RQ4 강건한 IHT 변종이 노이즈가 없는 조건에서 선형 수렴을 보이며 기계 정밀도에 도달할 수 있는가?
• RQ5 고차원 설정에서 오염 수준(ε)과 다양한 희소성 수준(k)에 따라 알고리즘이 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 알고리즘은 k² log d / ε 비례하는 부분선형 샘플 복잡도를 달성하며, 정보 이론적 하한선에 로그 인자 외에는 정확히 일치한다.
• 정규 공분산 행렬의 경우 오차 보장이 거의 정보 이론적으로 최적에 가깝고, 이는 이론적 한계가 실증적으로도 검증됨을 의미한다.
• 매개변수 오차에 대해 선형 수렴을 보이며, 고오염 조건(ε = 0.2)에서도 오차 곡선이 최종 오차 수준에서 평탄해지는 경향을 보였다.
• σ² = 0(추가 노이즈 없음)인 경우 알고리즘이 기계 정밀도에 도달하여 노이즈가 없는 경우 정확한 복원이 이루어짐을 확인했다.
• 강건한 희소 평균 추정을 위한 필터링 알고리즘은 타원체 알고리즘보다 순서적으로 더 효율적이며, 알려져 있지 않은 공분산 조건 하에서도 효과적이다.
• 실증 결과는 재스케일링된 상대적 MSE가 희소성 k와 차원 d에 거의 영향을 받지 않음을 보여주며, 이는 이론적 샘플 복잡도 스케일링이 실제로도 성립함을 확인한다.