[논문 리뷰] Algorithms and Hardness for Robust Subspace Recovery

Moritz Hardt, Ankur Moitra|arXiv (Cornell University)|2012. 11. 05.

Sparse and Compressive Sensing Techniques참고 문헌 31인용 수 32

한 줄 요약

이 논문은 R^n 내에서 d차원 부분공간을 찾는 다항시간 알고리즘을 제안하며, 이 부분공간은 전체 점들 중 d/n을 초과하는 점들을 포함한다. 이는 적대적 이상치점이 존재하더라도 성립한다. 이 알고리즘은 1 - d/n의 붕괴점(breakdown point)을 달성하며, 이는 d/n 이하로 내림값이 감소할 경우 부분공간을 찾는 것이 소작업 확장(Small Set Expansion) 난이도임을 증명함으로써 효율성과 강건성 사이의 최적성(trade-off)을 입증한다.

ABSTRACT

We consider a fundamental problem in unsupervised learning called \emph{subspace recovery}: given a collection of $m$ points in $\mathbb{R}^n$, if many but not necessarily all of these points are contained in a $d$-dimensional subspace $T$ can we find it? The points contained in $T$ are called {\em inliers} and the remaining points are {\em outliers}. This problem has received considerable attention in computer science and in statistics. Yet efficient algorithms from computer science are not robust to {\em adversarial} outliers, and the estimators from robust statistics are hard to compute in high dimensions. Are there algorithms for subspace recovery that are both robust to outliers and efficient? We give an algorithm that finds $T$ when it contains more than a $\frac{d}{n}$ fraction of the points. Hence, for say $d = n/2$ this estimator is both easy to compute and well-behaved when there are a constant fraction of outliers. We prove that it is Small Set Expansion hard to find $T$ when the fraction of errors is any larger, thus giving evidence that our estimator is an {\em optimal} compromise between efficiency and robustness. As it turns out, this basic problem has a surprising number of connections to other areas including small set expansion, matroid theory and functional analysis that we make use of here.

연구 동기 및 목표

• 비지도 학습에서 계산 효율성과 강건성 사이의 근본적 갈등을 해결하기 위해, 특히 부분공간 복원에 초점을 맞춘다.
• 계산 효율성과 적대적 이상치점에 대한 강건성을 동시에 확보하는 알고리즘을 설계하며, 붕괴점은 고장난 데이터의 최대 비율로 정의된다.
• 소작업 확장 가정(Small Set Expansion hypothesis) 하에 난이도 결과를 증명하여 이러한 알고리즘의 이론적 한계를 규명한다.
• 기초 이론에서 매트로이드 이론, 함수해석학, 조합 최적화 이론의 개념을 융합하여 결정론적, 다항시간 해법을 도출한다.
• 제안된 알고리즘이 계산 난이도 측면에서 최적의 강건성과 효율성의 균형을 달성함을 입증하며, 이는 계산 난이도 결과로도 추가로 뒷받침된다.

제안 방법

• 반복적으로 n개 점의 부분집합을 샘플링하고 선형 종속성 여부를 검사하여 내측점(inliers)을 식별하는 랜덤화 라스베가스 알고리즘을 제안한다.
• 조건 2.1: 어떤 n개 점의 부분집합이 선형 종속일 때는 반드시 d개 이상의 내측점이 포함되어야 하며, 이는 내측점이 많은 부분집합을 탐지할 수 있도록 한다.
• 조합 최적화에서의 기저 다면체(basis polytope)와 소속 오라클(oracle)을 활용하여 알고리즘을 결정론적으로 변환하며, 에드모스(Edmonds)의 독립 집합 특성화를 활용한다.
• 알고리즘 3에서 그레디티브 프루닝 전략을 적용하여 후보 점 집합을 반복적으로 줄이되, 내측점 비율이 d/n 이상을 유지하도록 한다.
• 기저 다면체의 강력한 다항시간 소속 오라클을 사용하여, 점의 부분집합이 내측점 비율이 d/n을 초과하는지 테스트한다.
• 선형 종속인 n개 점 부분집합의 커널 벡터에서 비영인 성분에 해당하는 벡터의 스칼라 합을 계산하여 진짜 부분공간 T를 복원한다.

실험 결과

연구 질문

• RQ1 계산 효율성과 적대적 이상치점에 대한 강건성을 동시에 확보하는 부분공간 복원 알고리즘을 설계할 수 있는가?
• RQ2 부분공간 복원을 위한 효율적으로 계산 가능한 추정기에서 견딜 수 있는 이상치점의 최대 비율(즉, 붕괴점)은 얼마인가?
• RQ3 강건한 부분공간 복원이 약간의 근사화조차도 계산적으로 불가능해지는 기초적인 계산 장벽이 존재하는가?
• RQ4 매트로이드 이론과 다면체 조합 최적화의 기법을 활용하여 강건한 부분공간 복원 알고리즘을 결정론적으로 변환하고 최적화할 수 있는가?
• RQ5 내측점 비율의 d/n 임계값이 계산 난이도 측면에서 최적인가, 아니면 더 높은 강건성을 효율적으로 달성할 수 있는가?

주요 결과

• 제안된 랜덤화 알고리즘은 내측점이 총 점 수의 d/n을 초과할 경우 진짜 부분공간 T를 찾으며, 기대 실행 시간은 O(n²m)이다.
• 알고리즘의 결정론적 변환형은 강력한 다항시간 내에서 실행되며, 동일한 내측점 비율 조건 하에서 T를 정확히 복원한다.
• 이 알고리즘은 d/n 이하로 내림값이 감소할 경우 T를 찾는 것이 소작업 확장 난이도임을 증명함으로써, 더 많은 이상치점을 견딜 수 있는 효율적 알고리즘이 존재하지 않음을 의미하며, 최적성임을 입증한다.
• 조건 2.1은 어떤 n점 부분집합이 선형 종속일 경우 반드시 높은 내측점 수를 포함함을 보장하여, 내측점이 많은 부분집합을 신뢰성 있게 탐지할 수 있도록 한다.
• 기저 다면체 특성화는 효율적인 소속 테스트를 가능하게 하며, 이는 결정론적 변환 과정에서 핵심적인 역할을 한다.
• 기본적인 SVD나 최소 중앙값 제곱 오차와 같은 강건한 추정기와 비교해 볼 때, 이 알고리즘은 강건성과 계산 효율성 양면에서 뛰어난 성능을 보인다.