[논문 리뷰] PCA with Gaussian perturbations

Wojciech Kotłowski, Manfred K. Warmuth|arXiv (Cornell University)|2015. 06. 16.

Machine Learning and Algorithms참고 문헌 14인용 수 5

한 줄 요약

이 논문은 랭크-$k$ 주성분 분석(PCA)을 위한 새로운 온라인 알고리즘을 제안하며, 비용이 많이 드는 $O(n^3)$ 고유분해를 $O(kn^2)$ 연산으로 대체함으로써 계산 비용을 절감한다. 이 방법은 최적의 결과에 비해 작은 $O(n^{1/4})$ 요인 내에서의 정책 오차(regret)를 달성하여, 각 시행에 대해 선형 시간 복잡도를 확보하면서도 강력한 일반화 성능을 유지한다.

ABSTRACT

Most of machine learning deals with vector parameters. Ideally we would like to take higher order information into account and make use of matrix or even tensor parameters. However the resulting algorithms are usually inefficient. Here we address on-line learning with matrix parameters. It is often easy to obtain online algorithm with good generalization performance if you eigendecompose the current parameter matrix in each trial (at a cost of $O(n^3)$ per trial). Ideally we want to avoid the decompositions and spend $O(n^2)$ per trial, i.e. linear time in the size of the matrix data. There is a core trade-off between the running time and the generalization performance, here measured by the regret of the on-line algorithm (total gain of the best off-line predictor minus the total gain of the on-line algorithm). We focus on the key matrix problem of rank $k$ Principal Component Analysis in $\mathbb{R}^n$ where $k \ll n$. There are $O(n^3)$ algorithms that achieve the optimum regret but require eigendecompositions. We develop a simple algorithm that needs $O(kn^2)$ per trial whose regret is off by a small factor of $O(n^{1/4})$. The algorithm is based on the Follow the Perturbed Leader paradigm. It replaces full eigendecompositions at each trial by the problem finding $k$ principal components of the current covariance matrix that is perturbed by Gaussian noise.

연구 동기 및 목표

• 각 시행당 $O(n^3)$ 고유분해가 필요한 기존 온라인 PCA 알고리즘의 계산 비효율성을 해결하기 위해.
• 계산 시간을 $O(n^3)$ 에서 $O(kn^2)$ 로 줄이면서도 강력한 일반화 성능을 유지하기 위해.
• 행렬 크기에 따라 효율적으로 확장 가능한 실용적인 온라인 학습 방법을 개발하기 위해.
• 온라인 행렬 학습에서 계산 효율성과 정책 오차 사이의 트레이드오프를 분석하기 위해.

제안 방법

• 각 시행에서 전체 고유분해를 피하기 위해 Follow the Perturbed Leader (FPL) 프레임워크를 활용한다.
• 서로 다른 i.i.d. 가우시안 노이즈로 편향된 공분산 행렬의 상위 $k$ 주성분을 계산한다.
• 편향 덕분에 파wer 반복 또는 유사한 방법을 통해 주요 성분을 효율적으로 계산할 수 있어, 복잡도를 $O(n^3)$ 에서 $O(kn^2)$ 로 감소시킬 수 있다.
• 각 시행에서 독립적으로 샘플된 편향을 사용함으로써 탐색을 보장하면서도 안정성을 유지한다.
• 편향된 주성분 기반으로 갱신되는 매개변수 행렬을 유지한다.
• 정책 오차는 편향으로 인해 발생하는 편차의 관점에서 분석되며, 최적의 오프라인 해에 비해 $O(n^{1/4})$ 이내로 제한된다.

실험 결과

연구 질문

• RQ1 지나치게 높은 계산 비용 없이 온라인 PCA에서 최적에 가까운 정책 오차를 달성할 수 있는가?
• RQ2 가우시안 편향은 온라인 PCA 알고리즘의 안정성과 수렴성에 어떤 영향을 미치는가?
• RQ3 온라인 행렬 학습에서 계산 복잡도와 정책 오차 사이의 트레이드오프는 어떠한가?
• RQ4 FPL 프레임워크는 낮은 랭크 구조를 가진 행렬 매개변수 학습에 효과적으로 적용될 수 있는가?

주요 결과

• 제안된 알고리즘은 각 시행당 $O(kn^2)$ 시간에 실행되어 전체 고유분해의 $O(n^3)$ 비용보다 훨씬 빠르다.
• 알고리즘의 정책 오차는 최적의 오프라인 정책 오차에 비해 $O(n^{1/4})$ 요인 내에 머물러 있다.
• 가우시안 편향의 사용으로 인해 명시적 고유분해 없이도 상위 $k$ 주성분을 효율적으로 계산할 수 있다.
• 계산 오버헤드를 크게 줄이면서도 강력한 일반화 성능을 유지한다.