[논문 리뷰] Robust High Dimensional Sparse Regression and Matching Pursuit

Yudong Chen, Constantine Caramanis외 1명|arXiv (Cornell University)|2013. 01. 12.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 13

한 줄 요약

이 논문은 공변수와 반응값 양측에 대해 적대적인 행 및 분산 오염이 존재하는 고차원 희박 회귀에서 계산적으로 효율적인 알고리즘인 강건한 수직 매칭 추적(RoMP)을 제안한다. 이 알고리즘은 분포 가정 없이 악성 공격에 의한 오염에 대해 최대 $ n_1 = O(n/(√k \log p)) $개의 오염된 점을 허용하면서도 지원 회복을 달성하며, 브루트 포스 및 기존의 강건한 방법들보다 뛰어나게 성능을 발휘한다.

ABSTRACT

We consider high dimensional sparse regression, and develop strategies able to deal with arbitrary -- possibly, severe or coordinated -- errors in the covariance matrix $X$. These may come from corrupted data, persistent experimental errors, or malicious respondents in surveys/recommender systems, etc. Such non-stochastic error-in-variables problems are notoriously difficult to treat, and as we demonstrate, the problem is particularly pronounced in high-dimensional settings where the primary goal is {\em support recovery} of the sparse regressor. We develop algorithms for support recovery in sparse regression, when some number $n_1$ out of $n+n_1$ total covariate/response pairs are {\it arbitrarily (possibly maliciously) corrupted}. We are interested in understanding how many outliers, $n_1$, we can tolerate, while identifying the correct support. To the best of our knowledge, neither standard outlier rejection techniques, nor recently developed robust regression algorithms (that focus only on corrupted response variables), nor recent algorithms for dealing with stochastic noise or erasures, can provide guarantees on support recovery. Perhaps surprisingly, we also show that the natural brute force algorithm that searches over all subsets of $n$ covariate/response pairs, and all subsets of possible support coordinates in order to minimize regression error, is remarkably poor, unable to correctly identify the support with even $n_1 = O(n/k)$ corrupted points, where $k$ is the sparsity. This is true even in the basic setting we consider, where all authentic measurements and noise are independent and sub-Gaussian. In this setting, we provide a simple algorithm -- no more computationally taxing than OMP -- that gives stronger performance guarantees, recovering the support with up to $n_1 = O(n/(\sqrt{k} \log p))$ corrupted points, where $p$ is the dimension of the signal to be recovered.

연구 동기 및 목표

• 공변수와 반응값이 임의의 적대적 오염을 받는 상황에서 고차원 희박 회귀에서 지원 회복 문제를 해결하기 위해.
• 이전의 강건한 회귀나 이상치 제거 방법들과 달리, 결정론적 오염 한계 하에서 증명 가능한 보장을 제공하는 계산적으로 효율적인 알고리즘을 개발하기 위해.
• 표준 알고리즘이 몇 개의 오염된 점이 있더라도 실패하는 고차원 환경에서 이론적 성능과 실용적 강건성 사이의 격차를 메우기 위해.
• 특히 오염이 조율되고 비구조적인 경우에, 행 및 분산 오염 모델 하에서 지원 회복의 기본 한계를 분석하기 위해.
• 브루트 포스 부분집합 탐색이 $ O(n/k) $개의 오염된 점이 있더라도 효과가 없음을 입증하여, 더 스마트하고 구조적인 알고리즘이 필요함을 강조하기 위해.

제안 방법

• 수직 매칭 추적(OMP)을 영감으로 삼은 순차적 그레디 알고리즘인 강건한 수직 매칭 추적(RoMP)을 제안하며, 오염된 데이터를 다룰 수 있도록 컷팅 절차를 적용한다.
• 이상치가 극단적인 값을 가진다고 가정하여, 공변수와 반응값 간의 내적곱 중 크기가 가장 큰 것들을 제거하는 컷팅 메커니즘을 사용한다.
• 서브가우시안 농도 부등식을 활용하여 내선자와 이상자에 의한 기여도를 별도로 제한함으로써, 적대적 오염에 대한 강건성을 확보한다.
• 컷팅 이후 각 공변수와 반응값 간의 상관관계를 분석하고, 절댓값이 가장 큰 인덱스를 다음 지원 후보로 선택한다.
• 내선자에 대한 측도 집중 및 독립성 가정을 통해 추정 오차 및 지원 회복에 대한 고확률 경계를 유도한다.
• 이중 분석 기법을 적용한다: 첫 번째로 각 계수 추정 오차의 경계를 설정하고, 두 번째로 RoMP가 참 지원을 정확히 식별할 수 있는 조건을 설정한다.

실험 결과

연구 질문

• RQ1 공변수와 반응값이 분포 가정 없이도 임의의 적대적 오염을 받는 상황에서 고차원 희박 회귀에서 지원 회복을 보장할 수 있는가?
• RQ2 참 지원을 회복할 수 있는 최대 오염된 점 수 $ n_1 $는 얼마인가?
• RQ3 왜 표준 강건한 회귀 및 이상치 제거 기법들이 공변수에 적대적 오염이 존재하는 고차원 환경에서 실패하는가?
• RQ4 적대적 오염 하에서 RoMP의 성능은 브루트 포스 부분집합 선택에 비해 어떻게 다른가?
• RQ5 이 설정에서 볼록 최적화 기반 접근법이 RoMP보다 더 나은 강건성 보장을 달성할 수 있는가?

주요 결과

• RoMP는 적대적 행 및 분산 오염 하에서 희박성 $ k $와 차원 $ p $를 고려할 때 최대 $ n_1 = O(n/(√k \log p)) $개의 오염된 점을 허용하면서도 참 지원을 회복할 수 있다.
• 크기 $ n $의 부분집합과 가능한 모든 지원을 탐색하는 브루트 포스 알고리즘은 서브가우시안 내선자와 노이즈가 존재하더라도 $ n_1 = O(n/k) $개의 오염된 점이 있으면 실패한다.
• Justice Pursuit 및 볼록 리팩토링 기반 접근법과 같은 기존 방법들에 비해 RoMP는 강건성과 계산 효율성 측면에서 뛰어나다.
• 이론적 분석 결과, RoMP의 추정 오차는 각 계수당 $ O(\sqrt{\log p / n}) $로 경계되며, 오염으로 인해 추가로 $ n_1 \cdot (\log p / n) \cdot \|\beta^*\|_2 $ 크기의 항이 발생한다.
• 신호 대 잡음 비율과 희박성이 $ n \gtrsim \max_j (\|\beta^*\|_2^2 / \beta_j^{*2}) \cdot \log p \cdot (1 + \sigma_e^2 / \|\beta^*\|_2^2) $를 만족할 경우, 알고리즘은 정확한 지원 선택을 보장한다.
• 분석은 행 오염 및 분산 오염 모델 하에서도 유효하며, 카디널리티 제약 이외에는 오염 패턴에 대한 가정이 없다.