[논문 리뷰] AdaOja: Adaptive Learning Rates for Streaming PCA

Amelia Henriksen, Rachel Ward|arXiv (Cornell University)|2019. 05. 28.

Stochastic Gradient Optimization Techniques참고 문헌 26인용 수 16

한 줄 요약

AdaOja는 Oja의 스트리밍 주성분 분석(PCA) 알고리즘에 적응형 학습률 기법을 제안하여 수작업 하이퍼파rameter 조정이 필요 없도록 한다. Adagrad에서 영감을 받은 적응형 스텝 크기를 통합함으로써, 다수의 반복 또는 사전 데이터 지식 없이도 합성 데이터, 희소 데이터, 그리고 조밀한 실세계 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 수렴성이 뛰어나다.

ABSTRACT

Oja's algorithm has been the cornerstone of streaming methods in Principal Component Analysis (PCA) since it was first proposed in 1982. However, Oja's algorithm does not have a standardized choice of learning rate (step size) that both performs well in practice and truly conforms to the online streaming setting. In this paper, we propose a new learning rate scheme for Oja's method called AdaOja. This new algorithm requires only a single pass over the data and does not depend on knowing properties of the data set a priori. AdaOja is a novel variation of the Adagrad algorithm to Oja's algorithm in the single eigenvector case and extended to the multiple eigenvector case. We demonstrate for dense synthetic data, sparse real-world data and dense real-world data that AdaOja outperforms common learning rate choices for Oja's method. We also show that AdaOja performs comparably to state-of-the-art algorithms (History PCA and Streaming Power Method) in the same streaming PCA setting.

연구 동기 및 목표

• 실제로 효과적으로 작동하며 온라인 및 단일 패assing 제약 조건을 충족하는 Oja의 스트리밍 PCA 알고리즘에서 표준화된 효과적인 학습률 선택이 부족한 문제를 해결하기 위해.
• 일반적으로 다수의 데이터 패assing이 필요로 하는 수작업 하이퍼파arameter 조정(예: ηₜ = c/t 또는 c/√t에서의 상수 c)이 필요 없도록 하기 위해.
• 실시간으로 데이터 특성에 적응하는 단순하고 구현 가능하며 강력한 학습률 기법을 개발하여 단일 패assing 중에 실시간으로 적용하기 위해.
• 제안된 적응형 기법이 최적의 학습률을 사용한 표준 Oja 방법과 최신 기술 수준의 스트리밍 PCA 알고리즘의 성능를 근사하거나 초월할 수 있음을 입증하기 위해.

제안 방법

• Adagrad 알고리즘의 적응형 학습률 메커니즘을 Oja 방법의 단일 고유벡터 케이스에 적용하여 다중 고유벡터 케이스로 확장한다.
• 누적 기울기 크기의 역제곱근에 비례하여 증가하는 좌표별 적응형 학습률을 사용하여 수작업 조정을 피한다.
• 각 업데이트 후 투영 단계를 적용하여 부분공간 기저의 정규직교성을 유지함으로써 진정한 주성분에 수렴하도록 보장한다.
• 단일 패assing 스트리밍 업데이트 규칙을 적용: Wₜ = (I + ηₜxₜxₜᵀ)Wₜ₋₁, 이 후 QR 분해를 통해 정규직교성을 강제한다.
• 적응형 스텝 크기를 적용한 표준 힘의 방법의 변형을 도입하여 배치 크기 선택과 데이터 희소성에 대해 강건성을 확보한다.
• 학습률를 ηₜ = 1 / √(∑ᵢ₌₁ᵗ ||xᵢ||²)로 유도하여 데이터 에너지의 시간에 따른 성장에 적응하도록 한다.

실험 결과

연구 질문

• RQ1 Oja 알고리즘에 대해 스트리밍 PCA에서 수작업 하이퍼파arameter 조정이 필요 없는 적응형 학습률 기법을 설계할 수 있는가?
• RQ2 제안된 적응형 학습률이 고정된 학습률 기법(예: ηₜ = c/t 또는 ηₜ = c/√t)보다 수렴 속도와 최종 설명 분산을 향상시키는가?
• RQ3 History PCA 및 Streaming Power Method와 같은 최신 기술 수준의 단일 패assing 스트리밍 PCA 알고리즘과 비교해 AdaOja는 어떤 성능을 보이는가?
• RQ4 학습률의 적응형 기법은 데이터 희소성, 노이즈 수준, 배치 크기의 변화에 강건한가?
• RQ5 AdaOja는 다수의 데이터 패assing 없이도 오프라인 PCA와 유사한 성능을 달성할 수 있는가?

주요 결과

• AdaOja는 합성 및 실세계 데이터에서 일반적인 고정 학습률 선택(예: ηₜ = c/t, ηₜ = c/√t)을 능가하여 더 높은 설명 분산과 더 빠른 수렴 속도를 달성한다.
• 조밀한 CIFAR-10 데이터셋에서 AdaOja는 History PCA(HPCA)와 유사한 설명 분산을 달성하며, 특히 배치 크기 B=10 설정에서 Streaming Power Method(SPM)를 능가한다.
• 희소 백오브워즈 데이터셋(예: Enron, Nips, Kos)에서는 AdaOja가 HPCA와 유사하거나 略적으로 더 우수한 성능을 보이며 다양한 배치 크기에서 일관된 성능을 유지한다.
• 중간 크기의 희소 데이터셋(예: PubMed, NYT)에서는 AdaOja가 HPCA를 약간 뛰어넘어 실제 데이터에 대한 강건성과 적응성의 우수함을 입증한다.
• 노이즈가 있는 스파이크 공분산 모델에서는 AdaOja가 강력한 성능을 유지하며, 특히 B=100 설정에서 노이즈가 증가함에 따라 HPCA보다 더 높은 설명 분산을 달성한다.
• k(1 및 10)와 배치 크기(10, 100, 1000)의 다양한 값에서 AdaOja의 성능은 안정적이고 일관되며 하이퍼파arameter 및 데이터 설정 변화에 대한 내성을 보여준다.