[논문 리뷰] The Noisy Power Method: A Meta Algorithm with Applications

Moritz Hardt, Eric Price|arXiv (Cornell University)|2013. 11. 11.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 102

한 줄 요약

이 논문은 스트리밍 PCA, 행렬 완성, 차별적 비공식 PCA 등 다양한 응용에 적용 가능한 노이즈 있는 행렬의 주요 특이벡터를 계산하기 위한 강건한 메타알고리즘인 노이즈 있는 거듭제곱법을 소개한다. 이는 기존의 특수한 경우에 국한된 경계를 포함하는 일반적인 수렴 분석을 제공하며, 최초로 거의 선형 시간 복잡도를 가지며 거의 최적의 오차 경계를 갖는 차별적 비공식 PCA 알고리즘을 제공한다. 이는 행렬의 일관성에 의존함으로써 최악의 경우와 평균 경우 성능을 모두 향상시킨다.

ABSTRACT

We provide a new robust convergence analysis of the well-known power method for computing the dominant singular vectors of a matrix that we call the noisy power method. Our result characterizes the convergence behavior of the algorithm when a significant amount noise is introduced after each matrix-vector multiplication. The noisy power method can be seen as a meta-algorithm that has recently found a number of important applications in a broad range of machine learning problems including alternating minimization for matrix completion, streaming principal component analysis (PCA), and privacy-preserving spectral analysis. Our general analysis subsumes several existing ad-hoc convergence bounds and resolves a number of open problems in multiple applications including streaming PCA and privacy-preserving singular vector computation.

연구 동기 및 목표

• 노이즈가 존재하는 다양한 행렬 계산 환경에 적용 가능한 노이즈 있는 거듭제곱법에 대한 일반적인 수렴 분석을 개발하는 것.
• 스피iked 공분산 모델을 초월한 더 단순하고 일반적인 분석을 통해 스트리밍 PCA에서 열려 있는 문제를 해결하는 것.
• 기존에 알려지지 않은 거의 선형 시간 복잡도를 가지며 거의 최적의 오차 경계를 갖는 최초의 차별적 비공식 PCA 알고리즘을 설계하는 것.
• 오차가 행렬 차원에 대한 의존성을 일관성(coherence)에 의존하도록 대체함으로써 평균 경우 성능을 향상시키는 것.

제안 방법

• 노이즈 있는 거듭제곱법은 각 단계 이후에 노이즈가 추가된 행렬-벡터 곱을 반복적으로 적용하며, QR 분해를 통해 정규직교성을 유지한다.
• 이 방법은 일반적인 노이즈 가정 하에 분석되며, 각 행렬-벡터 곱 이후에 발생하는 적대적 및 적응형 편향도 포함된다.
• 핵심 기법은 수렴 분석에서 노이즈의 집중을 제어하기 위해 행렬 찬스프의 경계를 사용하는 것이다.
• 해석은 가우시안 노이즈의 부호 대칭성과 회전 불변성을 활용하여 반복값의 무한노름을 경계하는 데 사용된다.
• 독립 동일분포 가우시안 노이즈 하에서 알고리즘의 행동을 묘사하기 위해 결정론적 함수를 정의하며, 이를 통해 분포 분석이 가능해진다.
• 정규직교 불변성 성질을 활용하여, 알고리즘이 입력 행렬의 정규직교 변환에 대해 출력 분포가 불변임을 보여준다.

실험 결과

연구 질문

• RQ1 일반적인 노이즈 하에서 기존의 특수한 경우에 국한된 거듭제곱법 분석을 통합할 수 있는 단일 강건한 수렴 분석이 존재하는가?
• RQ2 임의의 초기 부분공간과 일반적인 노이즈 모델 하에서 노이즈 있는 거듭제곱법은 전역적으로 수렴하는가?
• RQ3 노이즈 있는 거듭제곱법을 통해 차별적 비공식 PCA에서 거의 최적의 오차 경계를 달성할 수 있는가?
• RQ4 비공식 PCA에서 오차가 행렬 차원에 대한 의존성 대신 일관성에 의존하도록 대체할 수 있는가?
• RQ5 노이즈 있는 거듭제곱법은 가우시안 스파이크 공분산 모델을 초월한 스트리밍 PCA에서도 증명 가능한 수렴 보장을 제공하는가?

주요 결과

• 노이즈가 스펙트럴 갭에 대해 유한할 경우, 랜덤한 초기 부분공간을 사용하더라도 노이즈 있는 거듭제곱법은 높은 확률로 전역 수렴을 달성한다.
• 스트리밍 PCA의 경우, 이 분석은 스파이크 공분산 모델 외의 임의의 분포에서도 수렴을 확인하며, 자연스러운 매개변수 영역에서 이전의 경계를 향상시킨다.
• 이 논문은 최초로 거의 선형 시간 복잡도를 가지며 거의 최적의 최악의 경우 오차 경계를 갖는 차별적 비공식 PCA 알고리즘을 제공한다.
• 오차가 행렬 차원에 대한 의존성은 일관성에 의존하도록 대체되었으며, 이는 일반적으로 훨씬 작기 때문에 평균 경우 성능 향상이 뚜렷하다.
• 수렴 속도는 O(σₖ / (σₖ − σₖ₊₁)) log(dτ/ε)이며, 이는 최적 속도에 로그 인자 외에는 일치한다.
• 분석을 통해 알고리즘의 출력이 입력 행렬의 정규직교 변환에 대해 불변임을 보여주며, 이를 통해 분포 대칭성 추론이 가능해진다.