[논문 리뷰] Follow the Compressed Leader: Faster Online Learning of Eigenvectors and Faster MMWU

Zeyuan Allen-Zhu, Yuanzhi Li|arXiv (Cornell University)|2017. 01. 06.

Stochastic Gradient Optimization Techniques인용 수 14

한 줄 요약

이 논문은 최적의 O(√T) 오차를 달성하면서도 이전 방법보다 훨씬 빠른 실행 시간을 보이는 온라인 고유벡터 계산을 위한 새로운 알고리즘인 Follow-the-Compressed-Leader (FTCL) 프레임워크를 제안한다. 공격적인 환경에서는 매트릭스 전략을 차원 3으로 압축하고, 확률적 환경에서는 차원 1로 압축함으로써, MMWU의 최적 오차를 따라가면서도 반복당 시간 복잡도를 O(d^ω)에서 O(nnz(A)) 또는 O(1)로 감소시켜 주요 고유벡터의 확장 가능한 온라인 학습을 가능하게 한다.

ABSTRACT

The online problem of computing the top eigenvector is fundamental to machine learning. In both adversarial and stochastic settings, previous results (such as matrix multiplicative weight update, follow the regularized leader, follow the compressed leader, block power method) either achieve optimal regret but run slow, or run fast at the expense of loosing a $\sqrt{d}$ factor in total regret where $d$ is the matrix dimension. We propose a $ extit{follow-the-compressed-leader (FTCL)}$ framework which achieves optimal regret without sacrificing the running time. Our idea is to "compress" the matrix strategy to dimension 3 in the adversarial setting, or dimension 1 in the stochastic setting. These respectively resolve two open questions regarding the design of optimal and efficient algorithms for the online eigenvector problem.

연구 동기 및 목표

• 최적의 오차를 달성하면서도 계산 효율성을 희생시키지 않는 온라인 고유벡터 알고리즘을 설계하는 것.
• 공격적인 온라인 고유벡터 문제에서 최적의 오차를 달성하면서도 빠른 실행 시간을 확보하는 열린 문제를 해결하는 것.
• 이 결과를 확률적 환경으로 확장하여, 오차를 최소화하면서도 빠른 수렴 속도를 유지하는 것.
• 공격적 및 확률적 환경 모두에서 오차와 수렴 속도에 대한 이론적 보장을 제공하는 것.
• 제안된 방법이 기존의 MMWU 및 FTPL과 비교해 오차 및 시간 복잡도 측면에서 뛰어나다는 것을 입증하는 것.

제안 방법

• 공격적 환경에서는 차원 3, 확률적 환경에서는 차원 1로 매트릭스 전략을 저차원 표현으로 압축하는 Follow-the-Compressed-Leader (FTCL) 프레임워크를 제안한다.
• MMWU 유사 업데이트에서 매트릭스 지수를 랜덤 프로젝션을 통한 스케칭을 이용해 압축함으로써, 차원을 감소시키면서도 오차 보장을 유지한다.
• 압축된 공간에서 선형 시스템 해법(Mlin) 또는 고유벡터 계산(Mev)을 수행하여 반복당 시간 복잡도를 O(nnz(A)) 또는 O(1)로 달성한다.
• Johnson-Lindenstrauss 유형의 압축을 적용하여 매트릭스 전략의 효과적 차원을 감소시켜 오차 손실가 제한됨을 보장한다.
• 꼬리 확률 및 Lieb-Thirring 부등식을 활용하여 압축된 매트릭스의 집중도를 분석하고 고확률 오차 한계를 확보한다.
• 트레이스 부등식과 카이제곱 꼬리 확률을 조합한 새로운 분석 기법을 도입하여 압축 전략의 성능을 진짜 최적 고유벡터와 연결한다.

실험 결과

연구 질문

• RQ1 공격적인 온라인 고유벡터 문제에서 최적의 O(√T) 오차를 달성하면서도 비세제곱 시간 복잡도를 유지할 수 있는가?
• RQ2 MMWU의 오차를 따라가면서도 비싼 고유분해를 요구하지 않는 빠른 온라인 고유벡터 학습 알고리즘을 설계할 수 있는가?
• RQ3 다양한 데이터 환경에서 FTCL의 오차 및 실행 시간이 FTPL 및 MMWU와 비교해 어떻게 성능을 내는가?
• RQ4 압축 전략을 확률적 환경으로 확장하여 최소한의 계산 오버헤드로 최적의 오차를 달성할 수 있는가?
• RQ5 확률적 온라인 고유벡터 학습의 이론적 최소 오차 하한은 무엇이며, FTCL은 이를 충족하는가?

주요 결과

• FTCL는 공격적 및 확률적 환경 모두에서 최적의 O(√T) 오차를 달성하며, 상수 요소를 제외한 이론적 하한에 정확히 부합한다.
• FTCL의 반복당 시간 복잡도는 O(nnz(A)) 또는 O(1)로, MMWU의 O(d^ω)보다 훨씬 빠르다.
• 확률적 환경에서는 ε-평균 오차를 달성하기 위한 총 시간 복잡도가 O(1/ε²)이며, 이는 이전 방법의 O(1/ε^3.5)보다 향상된 것이다.
• 최적의 오차를 달성하면서도 실행 시간이 빠른 것을 해결하는 열린 문제를 해결하여, 이전의 FTPL 및 MMWU-JL와 같은 접근 방식이 남긴 격차를 메운다.
• 이론적 분석을 통해 FTCL의 오차는 고확률로 O(√T)로 유한함을 확인하였으며, 노이즈 및 랭크-1 피드백 매트릭스에 대해 강건함을 입증하였다.
• 확률적 환경에서 오차의 하한을 Ω(√(λT))로 설정하였으며, FTCL의 성능은 이 하한에 로그 인자 외에는 정확히 부합한다.