[논문 리뷰] Robust Subspace Recovery with Adversarial Outliers

Tyler Maunu, Gilad Lerman|arXiv (Cornell University)|2019. 04. 05.

Sparse and Compressive Sensing Techniques참고 문헌 47인용 수 9

한 줄 요약

이 논문은 적대적 이상치가 존재하는 상황에서 강력한 부분공간 복원을 위한 두 가지 다루기 쉬운 알고리즘—RANSAC 기반 및 SGGD—을 제안하며, 노이즈가 없는 설정에서 최신 이론적 보장을 달성한다. 또한 정확한 복원이 신호 대 잡음비(SNR)가 $ O(d) $로 제한될 때 가능하다고 규명하였으며, 이는 이전 연구에서 요구했던 큰 상수를 동반한 $ O(d) $보다 크게 향상된 결과이다.

ABSTRACT

We study the problem of robust subspace recovery (RSR) in the presence of adversarial outliers. That is, we seek a subspace that contains a large portion of a dataset when some fraction of the data points are arbitrarily corrupted. We first examine a theoretical estimator that is intractable to calculate and use it to derive information-theoretic bounds of exact recovery. We then propose two tractable estimators: a variant of RANSAC and a simple relaxation of the theoretical estimator. The two estimators are fast to compute and achieve state-of-the-art theoretical performance in a noiseless RSR setting with adversarial outliers. The former estimator achieves better theoretical guarantees in the noiseless case, while the latter estimator is robust to small noise, and its guarantees significantly improve with non-adversarial models of outliers. We give a complete comparison of guarantees for the adversarial RSR problem, as well as a short discussion on the estimation of affine subspaces.

연구 동기 및 목표

• 적대적 이상치가 존재하는 강력한 부분공간 복원(RSR)에서의 붕괴점에 대한 종합적인 이론적 분석을 제공하는 것.
• 정보 이론적 한계와 실용적 알고리즘 사이의 격차를 좁히기 위해 정확한 복원을 위한 날카운 SNR 범위를 도출하는 것.
• 노이즈가 없는 RSR 설정에서 근사적으로 최적의 이론적 성능를 달성하는 빠르고 다루기 쉬운 알고리즘을 개발하는 것.
• 대칭화 및 강력한 오프셋 추정을 통해 선형 부분공간 방법을 애핀 부분공간 복원으로 확장함으로써 이론적 보장을 확장하는 것.
• 이론적 보장이 있는 기존 RSR 알고리즘들을 비교하여 적대적 조건 하에서 가장 우수한 성능를 보이는 방법을 규명하는 것.

제안 방법

• 정확한 복원을 위한 정보 이론적 하한선을 도출하기 위해 다루기 어려운 이론적 추정기법을 도입한다.
• RANSAC의 변형을 제안하여 노이즈가 없는 경우에 $ O(d) $의 SNR 범위를 확보하며, $ c(d) = \Omega(1/\mathrm{poly}\log(d)) $를 제공함으로써 강력한 이론적 보장을 확보한다.
• 이론적 추정기의 단순화된 변형인 SGGD(반정적형 가우시안 노이즈 제거)를 개발하여 계산적으로 효율적이며 소규모 노이즈에 강력한 성능을 발휘한다.
• 데이터의 대칭화를 적용하여 애핀 부분공간 복원을 가능하게 한다: $ \mathcal{X}' = \{ \mathbf{x}_i - \mathbf{x}_j \} $, 이로써 SGGD가 부분공간의 선형 성분을 추정할 수 있다.
• 선형 부분공간 복원 후, 투영된 점들의 기하 평균을 사용하여 애핀 부분공간의 오프셋을 강력하게 추정한다.
• 대칭화된 경우의 SNR 범위를 규명하여, 효과적 SNR가 $ \alpha^2/(1 - \alpha^2) $로 스케일링됨을 보여주며, 여기서 $ \alpha $는 내성자 비율이다.

실험 결과

연구 질문

• RQ1 적대적 이상치가 존재하는 강력한 부분공간 복원에서 정확한 복원을 위해 필요한 정보 이론적 하한선인 신호 대 잡음비(SNR)는 얼마인가?
• RQ2 다루기 쉬운 알고리즘이 노이즈가 없는 RSR 설정에서 정보 이론적 한계에 가까운 SNR 범위를 달성할 수 있는가?
• RQ3 RANSAC와 SGGD의 이론적 보장이 노이즈에 대한 내성과 SNR 임계값 측면에서 어떻게 비교되는가?
• RQ4 적대적 이상치가 존재하는 상황에서 애핀 부분공간 복원이 이론적 보장과 함께 달성될 수 있는가? 그리고 선형 부분공간 방법을 확장하기 위해 어떤 수정이 필요한가?
• RQ5 데이터의 대칭화가 애핀 RSR에서 SNR와 계산 복잡도에 어떤 영향을 미치는가?

주요 결과

• 적대적 이상치가 존재하는 노이즈가 없는 RSR 설정에서 정확한 복원을 위한 정보 이론적 하한선은 $ O(1) $이며, 이는 내성자가 잘 순서가 뒤섞여 있을 경우 상수 수준의 SNR로도 정확한 복원이 가능함을 의미한다.
• 제안된 RANSAC 변형은 $ \Omega(d / \mathrm{poly}\log(d)) $의 SNR 범위를 확보하며, 이는 이전 연구에서 요구했던 큰 상수를 동반한 $ O(d) $보다 크게 향상된 결과이다.
• SGGD 알고리즘은 이전 방법들보다 훨씬 좋은 상수를 가진 $ O(d) $의 SNR 범위를 확보한다. 예를 들어, [46]에서의 $ 121\mu d/9 $나 [5]에서의 $ 128\mu^2 d - 1 $ 보다 유리하다.
• SGGD는 소규모 노이즈에 강력하며, 비적대적 이상치 모델 하에서 이론적 보장이 크게 향상된다.
• 애핀 부분공간 복원의 경우, 대칭화로 인해 효과적 내성자 비율이 $ \alpha $의 요소로 감소하며, 이에 따라 대칭화된 데이터에서의 SNR는 $ \alpha^2/(1 - \alpha^2) $가 된다.
• 노이즈가 없는 경우, SGGD 이후 투영된 점들의 기하 평균은 효과적으로 최소 노름을 가진 진짜 오프셋을 회복한다. 이는 대칭화된 데이터의 SNR가 $ 3\sqrt{3}d \cdot \kappa_d(\widetilde{\mathbf{X}_{\mathrm{in}}^\prime}}) $를 초과할 경우에 성립한다.