[논문 리뷰] Robust subspace recovery by geodesically convex optimization

Teng Zhang|arXiv (Cornell University)|2012. 06. 07.

Advanced Statistical Methods and Models참고 문헌 23인용 수 12

한 줄 요약

이 논문은 정규 분포가 아닌 데이터에서의 강건한 부분공간 복원을 위해, 양의 정부호 행렬의 다양체 위에서 지오데식 볼록 최적화로 문제를 공식화함으로써 Tyler의 M-추정량을 제안한다. 목적 함수가 유일한 최소화자를 가지며, 지오데식 볼록임을 증명하고, 이상치 비율이 상한선을 초과하지 않는 조건 하에서 정확한 부분공간 복원이 가능하다는 것을 보여준다.

ABSTRACT

We introduce Tyler's M-estimator to robustly recover the underlying linear model from a data set contaminated by outliers. We prove that the objective function of this estimator is geodesically convex on the manifold of all positive definite matrices and have a unique minimizer. Besides, we prove that when inliers (i.e., points that are not outliers) are sampled from a subspace and the percentage of outliers is bounded by some number, then under some very weak assumptions a commonly used algorithm of this estimator can recover the underlying subspace exactly. We also show that empirically this algorithm compares favorably with other convex algorithms of subspace recovery.

연구 동기 및 목표

• 고차원 데이터에서 이상치 존재 시 부분공간 복원 문제를 해결하기 위해.
• 상당한 비율의 데이터 포인트가 이상치일 경우에도 정확도를 유지하는 강건한 추정 방법을 개발하기 위해.
• 약한 가정 하에 기저 부분공간의 정확한 복원을 위한 이론적 보장을 수립하기 위해.
• 경험적 평가를 통해 기존의 볼록 알고리즘에 비해 제안된 방법의 우수성을 입증하기 위해.

제안 방법

• Tyler의 M-추정량을 사용하여, 양의 정부호 행렬의 다각체 위에서 부분공간 복원 문제를 최적화 문제로 공식화한다.
• Tyler의 M-추정량의 목적 함수가 양의 정부호 행렬의 다각체 위에서 지오데식 볼록임을 증명한다.
• 지오데식 볼록 목적 함수에 대해 유일한 최소화자가 존재함을 확립한다.
• 지오데식 볼록성 하에서 일반적으로 사용되는 알고리즘을 적용하여 기저 부분공간을 복원한다.
• 내측자 분포에 대해 약한 가정에 의존하며, 내측자가 부분공간에 존재함만 요구한다.
• 리만 다각체 위에서 기하 최적화 기법을 사용하여 이상치 존재 하에서도 수렴성과 안정성을 보장한다.

실험 결과

연구 질문

• RQ1 Tyler의 M-추정량은 양의 정부호 행렬의 다각체 위에서 지오데식 볼록 최적화 문제로 공식화될 수 있는가?
• RQ2 Tyler의 M-추정량의 지오데식 볼록 목적 함수는 유일한 최소화자를 보장하는가?
• RQ3 이상치가 존재할 때 알고리즘이 참값의 기저 부분공간을 정확히 복원할 수 있는 조건은 무엇인가?
• RQ4 실제로 이 알고리즘의 성능은 다른 볼록 부분공간 복원 방법과 비교해 어떻게 되는가?
• RQ5 이상치 비율이 유계일 경우 정확한 부분공간 복원에 대한 이론적 보장은 무엇인가?

주요 결과

• Tyler의 M-추정량의 목적 함수는 양의 정부호 행렬의 다각체 위에서 지오데식 볼록이며, 이는 유일한 최소화자를 보장한다.
• 내측자가 부분공간에서 추출되고 이상치 비율이 상수로 유계일 경우 정확한 부분공간 복원이 증명 가능하다.
• 내측자 분포에 대한 이론적 복원 보장은 매우 약한 가정 하에서도 성립한다.
• 경험적으로, 제안된 알고리즘이 강건성과 정확도 측면에서 다른 볼록 알고리즘보다 뛰어나다.
• 목적 함수의 지오데식 볼록성 덕분에 표준 리만 다각체 알고리즘을 사용해 안정적이고 효율적인 최적화가 가능하다.