[논문 리뷰] A Well-Tempered Landscape for Non-convex Robust Subspace Recovery

Tyler Maunu, Teng Zhang외 1명|arXiv (Cornell University)|2019. 02. 01.

Statistical Methods and Inference인용 수 29

한 줄 요약

이 논문은 그라스만이안 다양체 위에서 지오데식 경사하강법을 사용하여 비볼록 최적화 접근법을 제안한다. 결정론적 데이터 조건 하에서 진짜 부분공간이 유일한 국소 최소화자로 정확하게 복원됨을 증명하고, 조각상수 단계 크기로 선형 수렴을 보이며, 헤이스택 모델에서 최신 기술 성능을 달성한다. 고정된 잡음 비율에 대해 임의의 고정된 환경 차원과 큰 표본 크기에서 정확한 복원이 가능하다.

ABSTRACT

We present a mathematical analysis of a non-convex energy landscape for robust subspace recovery. We prove that an underlying subspace is the only stationary point and local minimizer in a specified neighborhood under a deterministic condition on a dataset. If the deterministic condition is satisfied, we further show that a geodesic gradient descent method over the Grassmannian manifold can exactly recover the underlying subspace when the method is properly initialized. Proper initialization by principal component analysis is guaranteed with a simple deterministic condition. Under slightly stronger assumptions, the gradient descent method with a piecewise constant step-size scheme achieves linear convergence. The practicality of the deterministic condition is demonstrated on some statistical models of data, and the method achieves almost state-of-the-art recovery guarantees on the Haystack Model for different regimes of sample size and ambient dimension. In particular, when the ambient dimension is fixed and the sample size is large enough, we show that our gradient method can exactly recover the underlying subspace for any fixed fraction of outliers (less than 1).

연구 동기 및 목표

• 결정론적 데이터 조건 하에서 비볼록 최적화의 이론적 보장을 확립하기 위해.
• 결정론적 조건 하에서 진짜 부분공간이 그라스만이안 다양체의 이웃에서 유일한 정류점이자 국소 최소화자임을 증명하기 위해.
• 적절하게 초기화된 경우 그라스만이안 다양체 위에서 지오데식 경사하강법이 기저 부분공간을 정확히 복원할 수 있음을 보여주기 위해.
• 간단한 결정론적 조건 하에서 주성분 분석이 유효한 초기화 방법임을 보여주기 위해.
• 약간 더 강한 가정 하에서 조각상수 단계 크기 계획을 사용하여 선형 수렴을 달성하기 위해.

제안 방법

• 그라스만이안 다양체 위에서 강건한 부분공간 복원을 위한 비볼록 에너지 구조를 수립한다.
• 데이터셋에 대한 결정론적 조건을 사용하여 구조를 분석하여 진짜 부분공간이 유일한 국소 최소화자임을 보장한다.
• 리만 기하학을 활용하여 그라스만이안 다양체 위에서 최적화를 위한 지오데식 경사하강법을 적용한다.
• 주성분 분석을 적절한 초기화 방법으로 사용하며, 결정론적 조건 하에서 보장된다.
• 조각상수 단계 크기 계획을 적용하여 더 강한 가정 하에서 선형 수렴을 달성한다.
• 통계적 데이터 모델에 대한 결정론적 조건을 검증하여 실용적 타당성을 평가한다.

실험 결과

연구 질문

• RQ1 데이터에 대해 어떤 결정론적 조건이 성립할 경우 진짜 부분공간이 그라스만이안 다양체의 이웃에서 유일한 정류점이자 국소 최소화자인가?
• RQ2 적절하게 초기화된 경우 그라스만이안 다양체 위에서 지오데식 경사하강법이 기저 부분공간을 정확히 복원할 수 있는가?
• RQ3 제안된 결정론적 조건 하에서 주성분 분석이 유효한 초기화 방법인가?
• RQ4 약간 더 강한 가정 하에서 조각상수 단계 크기 계획을 사용할 경우 어떤 수렴 속도를 달성할 수 있는가?
• RQ5 이 방법은 다양한 표본 크기와 환경 차원에서 헤이스택 모델에서 어떻게 성능을 발휘하는가?

주요 결과

• 결정론적 조건이 데이터셋에 대해 성립할 경우, 특정 이웃에서 진짜 부분공간이 유일한 정류점이자 국소 최소화자이다.
• 결정론적 조건 하에서 적절하게 초기화된 경우 그라스만이안 다양체 위에서 지오데식 경사하강법이 정확한 부분공간 복원을 달성한다.
• 간단한 결정론적 조건 하에서 주성분 분석이 보장하는 적절한 초기화를 제공한다.
• 약간 더 강한 가정 하에서 조각상수 단계 크기 계획을 사용하여 선형 수렴을 달성한다.
• 헤이스택 모델에서 거의 최신 기술 성능을 달성하며, 고정된 환경 차원과 충분히 큰 표본 크기에서 고정된 비율의 이상치에 대해 정확한 복원이 가능하다.