[논문 리뷰] Fast Algorithms for Robust PCA via Gradient Descent

Xinyang Yi, Dohyung Park외 2명|arXiv (Cornell University)|2016. 05. 25.

Sparse and Compressive Sensing Techniques참고 문헌 4인용 수 138

한 줄 요약

논문은 완전 관측 및 부분 관측 데이터에서 작동하는 비-컨벡스, 그래디언트 디센트 기반 Robust PCA 접근법을 소개하여 실행 시간을 더 빠르게 하면서도 강건성 보장을 유지합니다.

ABSTRACT

We consider the problem of Robust PCA in the fully and partially observed settings. Without corruptions, this is the well-known matrix completion problem. From a statistical standpoint this problem has been recently well-studied, and conditions on when recovery is possible (how many observations do we need, how many corruptions can we tolerate) via polynomial-time algorithms is by now understood. This paper presents and analyzes a non-convex optimization approach that greatly reduces the computational complexity of the above problems, compared to the best available algorithms. In particular, in the fully observed case, with $r$ denoting rank and $d$ dimension, we reduce the complexity from $\mathcal{O}(r^2d^2\log(1/\varepsilon))$ to $\mathcal{O}(rd^2\log(1/\varepsilon))$ -- a big savings when the rank is big. For the partially observed case, we show the complexity of our algorithm is no more than $\mathcal{O}(r^4d \log d \log(1/\varepsilon))$. Not only is this the best-known run-time for a provable algorithm under partial observation, but in the setting where $r$ is small compared to $d$, it also allows for near-linear-in-$d$ run-time that can be exploited in the fully-observed case as well, by simply running our algorithm on a subset of the observations.

연구 동기 및 목표

• 결측 및 손상된 항목에서의 강건한 PCA를 SVD 기반 PCA의 확장 가능한 대안으로 동기 부여한다.
• 먼저 초기화하고 그다음 희소성 제약하에서 저랭크 분해를 정교화하는 두 단계 알고리즘을 개발한다.
• 부분 관찰에 대한 확장을 통해 소거를 처리하되 강건성을 희생하지 않는다.
• 초기화 품질, 수렴성, 샘플 복잡도에 대한 이론적 보장을 제시한다.
• 볼록 방법 및 선행 비볼록 방법에 비해 실용적 성능 향상을 입증한다.

제안 방법

• Robust PCA를 Y = M* + S*로 정형화하며, M*는 저랭크이고 S*는 희소하며 결정적 또는 무작위 손상 모델 하에서.
• 두 단계 알고리즘을 도입한다: (i) S_init를 초기화하고 Y - S_init의 랭크-r SVD를 이용해 (U0, V0)를 초기화하는 희소 추정기; (ii) 굴절된 공간에서의 희소성을 고려한 업데이트가 포함된 프로젝티드 그래디언트 방법.
• T_alpha[A]를 정의하여 행과 열 모두에서 상위 alpha-분율에 속하는 원소만 남기는 희소화 연산자를 도입한다.
• U,V에 대한 그래디언트 기반 업데이트를 사용하되, U^T U ≈ V^T V를 강제하는 정규화 항과 비정합성 제약 세트로의 사영, 그리고 각 반복에서의 S_t 희소 추정기를 포함한다.
• 부분 관측의 경우 관측된 항목에서 작동하도록 손실을 수정하고 희소화 연산자를 관측된 지지집합으로 조정하며 수렴 보장을 유지한다.

실험 결과

연구 질문

• RQ1 거친 손상과 결측 데이터 하에서 비볼록 그래디언트 디센트 방법이 Robust PCA의 저랭크 구성요소를 회복할 수 있는가?
• RQ2 전부 관측 설정에서 선형 수렴을 보장하는 초기화 및 스텝 사이즈 조건은 무엇인가?
• RQ3 계산 비용을 증가시키지 않으면서 부분 관찰(지워짐)에 대한 강건성 보장을 어떻게 확장할 수 있는가?
• RQ4 전부 및 부분 관찰 설정에서의 샘플 및 시간 복잡도는 무엇이며, 이것이 볼록 이완과 어떻게 비교되는가?
• RQ5 샘플링이 작은 랭크 시나리오에서 강건성을 유지하면서 거의 선형 시간 성능을 가능하게 하는가?

주요 결과

• 제안된 알고리즘은 전체 관찰인 경우 O(r d^2 log(1/ε))의 복잡도로 강건한 복구를 달성하며, 이전 방법들보다 향상된다.
• 적절한 초기화와 파라미터 하에서 그래디언트 반복은 선형 수렴하며 수축 계수는 O(1/κ)이고 ε-정밀도에 필요한 반복은 O(κ log(1/ε))이다.
• 부분 관찰 설정에서 방법은 관측 항목 수가 O(μ^2 r^2 d)이고 실행 시간은 O(μ^3 r^4 d log d log(1/ε))이며, r이 작을 때 d에 대해 거의 선형 성능을 보인다.
• 일반 직사각형 행렬에 대한 정확한 행렬 완성이 O(μ^2 r^2 d log d) 샘플과 O(μ^3 r^4 d log d log(1/ε)) 시간으로 달성될 수 있음을 코네큘러리가 보여주며, 일부 선행 결과보다 개선된다.
• 일부 구간에서 SVD 유사 실행 시간과 경쟁하며 실험에서 AltProj 및 볼록 IALM보다 속도와 강건성 모두에서 우수하다.
• 합성 데이터와 비디오 전경-배경 분리에 대한 경험적 결과는 수렴 속도가 더 빠르고 분리 품질이 더 우수함을 보여주며, 특히 데이터 서브샘플링에서 그렇다.