[논문 리뷰] Robust Regression via Hard Thresholding

Kush Bhatia, Prateek Jain외 1명|arXiv (Cornell University)|2015. 06. 08.

Sparse and Compressive Sensing Techniques참고 문헌 19인용 수 77

한 줄 요약

이 논문은 잡음이 있는 반응 변수의 비정상적인 오염이 일정 비율 이내일 경우에도 정확히 진짜 모델 벡터 $\mathbf{w}^*$를 복원할 수 있는 하드 스레시딩 알고리즘인 Torrent-FC를 제안한다. 이 방법은 깨끗한 데이터 포인트를 번갈아가며 식별하고, 최소 제곱법을 통해 모델을 업데이트함으로써 설계 행렬 $X$에 대해 약한 결정론적 조건(예: 서브-가우시안 샘플링)을 만족할 경우 정확한 복원을 달성한다. 이는 오염과 $X$ 간의 독립성을 요구하지 않으며, 기존의 $L_1$ 기반 방법과 달리 모든 $\mathbf{w}^*$에 대해 유효한 보편적인 복원 보장을 제공한다. 핵심 기여는 진짜 모델에 대해 제약 조건 없이 적용 가능한 보편적인 보장을 제공한다는 점이다.

ABSTRACT

We study the problem of Robust Least Squares Regression (RLSR) where several response variables can be adversarially corrupted. More specifically, for a data matrix X \in R^{p x n} and an underlying model w*, the response vector is generated as y = X'w* + b where b \in R^n is the corruption vector supported over at most C.n coordinates. Existing exact recovery results for RLSR focus solely on L1-penalty based convex formulations and impose relatively strict model assumptions such as requiring the corruptions b to be selected independently of X. In this work, we study a simple hard-thresholding algorithm called TORRENT which, under mild conditions on X, can recover w* exactly even if b corrupts the response variables in an adversarial manner, i.e. both the support and entries of b are selected adversarially after observing X and w*. Our results hold under deterministic assumptions which are satisfied if X is sampled from any sub-Gaussian distribution. Finally unlike existing results that apply only to a fixed w*, generated independently of X, our results are universal and hold for any w* \in R^p. Next, we propose gradient descent-based extensions of TORRENT that can scale efficiently to large scale problems, such as high dimensional sparse recovery and prove similar recovery guarantees for these extensions. Empirically we find TORRENT, and more so its extensions, offering significantly faster recovery than the state-of-the-art L1 solvers. For instance, even on moderate-sized datasets (with p = 50K) with around 40% corrupted responses, a variant of our proposed method called TORRENT-HYB is more than 20x faster than the best L1 solver.

연구 동기 및 목표

• 로버스트 최소 제곱 회귀(Robust Least Squares Regression, RLSR)에 대한 기존의 $L_1$ 기반 볼록 최적화 방법의 한계를 해결하기 위해, 오염과 설계 행렬 간의 독립성 및 등방성 또는 비일관성 있는 데이터 분포와 같은 제한적인 가정을 요구하지 않도록 하는 것.
• 설계 행렬 $X$와 진짜 모델 벡터 $\mathbf{w}^*$를 관측한 후에도 오염 벡터 $\mathbf{b}$가 적대적으로 선택된 상황에서도 정확히 진짜 모델 벡터 $\mathbf{w}^*$를 복원할 수 있는 단순하고 직관적인 스레시딩 기반 알고리즘을 개발하는 것.
• 모든 $\mathbf{w}^* \in \mathbb{R}^p$에 대해 유효한 비점근적이고 결정론적인 복원 보장을 제공하는 것. 이는 $\mathbf{w}^*$가 고정되거나 $X$와 독립이 아님을 전제로 하지 않는다는 뜻이다.
• 기존 알고리즘의 계산 효율성을 향상시키기 위해 경사 하강법 기반 확장형(예: Torrent-HYB)을 제안함으로써 대규모 문제에 적용 가능하게 하는 것.

제안 방법

• 핵심 알고리즘인 Torrent-FC는 현재 모델 추정치에서 잔차 오차가 가장 작은 $n - Cn$개의 데이터 포인트를 식별하여 '깨끗한' 데이터 포인트 집합 $S_t$를 반복적으로 추정한다.
• 각 반복 단계에서 모델 벡터 $\mathbf{w}^{t+1}$는 현재 활성 집합 $S_t$에서 최소 제곱 문제를 풀어 $\sum_{i \in S_t} (y_i - \mathbf{x}_i^T \mathbf{w})^2$ 를 최소화함으로써 업데이트된다.
• 알고리즘은 적대적인 오염이 큰 잔차를 유도하므로 활성 집합에서 제외되므로, 가장 가능성 있는 깨끗한 포인트를 식별하고 모델을 정밀화하는 과정을 번갈아 수행한다.
• 이론적 분석은 설계 행렬의 서브-가우시안 성질을 제한하고, 카이제곱 분포의 농도 부등식을 사용하여 진짜 모델 하에서 잔차의 분포를 제어한다.
• 경사 하강법 기반 변형(예: Torrent-HYB)을 통해 대규모 환경에 확장함으로써 고차원 또는 희소 문제에서 효율적인 최적화를 가능하게 하였다.
• 핵심 기술적 요소는 오염과 $X$ 간의 독립성을 요구하지 않으며, 서브-가우시안 尾 꼬리 조건과 같은 약한 조건 하에서 정확한 복원을 보장하는 결정론적 비확률적 분석을 사용하는 것이다.

실험 결과

연구 질문

• RQ1 설계 행렬 $X$와 진짜 모델 $\mathbf{w}^*$를 관측한 후에도 오염 벡터 $\mathbf{b}$가 적대적으로 선택된 상황에서 단순한 스레시딩 기반 알고리즘이 진짜 회귀 모델 $\mathbf{w}^*$를 정확히 복원할 수 있는가?
• RQ2 설계 행렬 $X$에 대해 결정론적 조건(예: 서브-가우시안 샘플링)을 만족할 경우, 등방성 또는 비일관성 있는 구조를 요구하지 않더라도 제안된 알고리즘이 정확한 복원 보장을 유지하는가?
• RQ3 고차원 희소 복원 문제와 같은 대규모 문제에 대해 알고리즘을 확장할 수 있으며, 강력한 이론적 복원 보장을 유지할 수 있는가?
• RQ4 스레시딩 기반 방법의 성능은 복원 정확도와 계산 속도 측면에서 최신의 $L_1$ 기반 솔버와 비교해 볼 때 어떻게 되는가?

주요 결과

• Torrent-FC는 설계 행렬 $X$에 대해 결정론적 조건(예: 어떤 서브-가우시안 분포에서 샘플링된 경우)을 만족할 경우, 오염 벡터 $\mathbf{b}$가 $X$와 독립이 아니어도 $\mathbf{w}^*$를 정확히 복원한다.
• 복원 보장은 보편적이다: 모든 $\mathbf{w}^* \in \mathbb{R}^p$에 대해 유효하며, $X$를 관측한 후에 $\mathbf{w}^*$가 적대적으로 선택된 경우에도 성립한다. 이는 기존의 $L_1$ 기반 방법이 $\mathbf{w}^*$가 고정되거나 $X$와 독립이어야 한다는 제약 조건을 요구하는 것과 대비된다.
• 알고리즘은 최대 일정 비율 $C \cdot n$의 오염된 반응을 견딜 수 있으며, 설계 행렬이 약한 서브-가우시안 조건을 만족하면 정확한 복원이 보장된다.
• 실험적으로, Torrent-HYB라는 변형은 중간 크기의 데이터셋($p = 50K$)에서 최고의 $L_1$ 기반 솔버보다 20배 이상 빠르며, 약 40%의 오염된 반응이 존재하는 상황에서도 유사하거나 더 높은 복원 정확도를 유지한다.
• 이론적 분석은 알고리즘의 수렴이 진짜 모델 하에서 잔차의 농도에 의해 이끌린다는 것을 보여주며, 카이제곱 농도 부등식과 지수 초과 노름 제어를 통해 유도된 경계를 제공한다.
• 광범위한 실험을 통해 다양한 $p$, $n$, 노이즈 수준 $\sigma$ 설정에서 상태 기반의 $L_1$ 솔버보다 복원 오차와 런타임 모두에서 뛰어난 성능을 보였다.