[논문 리뷰] Accelerated Stochastic Matrix Inversion: General Theory and Speeding up BFGS Rules for Faster Second-Order Optimization

Robert M. Gower, Filip Hanzely외 2명|arXiv (Cornell University)|2018. 02. 12.

Stochastic Gradient Optimization Techniques참고 문헌 22인용 수 16

한 줄 요약

이 논문은 유클리드 공간에서의 확률적 행렬 역행렬 계산을 위한 최초의 가속화된 랜덤 알고리즘을 제안하며, 수렴 속도를 높이면서도 양의 정부호성을 유지한다. 이를 바탕으로 가속화된 확률적 및 결정적 BFGS 업데이트를 개발하여 수치 실험에서 뚜렷한 속도 향상을 이룩하였으며, 특히 파rameter를 조정한 좌표 스케치에서 두드러진 성능 향상을 보였다.

ABSTRACT

We present the first accelerated randomized algorithm for solving linear systems in Euclidean spaces. One essential problem of this type is the matrix inversion problem. In particular, our algorithm can be specialized to invert positive definite matrices in such a way that all iterates (approximate solutions) generated by the algorithm are positive definite matrices themselves. This opens the way for many applications in the field of optimization and machine learning. As an application of our general theory, we develop the {\em first accelerated (deterministic and stochastic) quasi-Newton updates}. Our updates lead to provably more aggressive approximations of the inverse Hessian, and lead to speed-ups over classical non-accelerated rules in numerical experiments. Experiments with empirical risk minimization show that our rules can accelerate training of machine learning models.

연구 동기 및 목표

• 유클리드 공간에서 양의 정부호 행렬의 역행렬 계산과 선형 시스템 해법을 위한 가속화된 랜덤 알고리즘을 개발한다.
• 최적화에 응용할 수 있도록 행렬 반복값의 양의 정부호성과 대칭성을 유지한다.
• 가속화된 행렬 역행렬 알고리즘을 쿼اسي-뉴턴 방법에 통합하여 더 빠른 확률적 및 결정적 BFGS 업데이트를 구현한다.
• 실험을 통해 가속화된 BFGS 방법이 특정 문제 유형에서 기존 BFGS보다 수렴 속도가 빠르다는 것을 입증한다.
• Nesterov의 가속화 프레임워크를 1차 미분 방법을 초월해 쿼اسي-뉴턴 업데이트에 응용하는 새로운 최적화 응용을 제시한다.

제안 방법

• 양의 정부호 행렬 $A$와 $A$의 범위에 속하는 $b$에 대해 선형 시스템 $Ax = b$를 해결하기 위한 가속화된 스케치-프로젝션 방법을 제안한다.
• 행렬 역행렬 계산에 스케치-프로젝션 프레임워크를 적용하기 위해 $b = I$로 설정함으로써, 해 $X$는 $AX = I$를 만족하며, 즉 $X = A^{-1}$이 된다.
• 선형 제약 조건을 통해 스케치-프로젝션 반복 과정에 대칭성과 양의 정부호성 제약 조건을 통합한다.
• 행렬의 조건수 및 고유값 범위를 바탕으로 가속화 파라미터를 유도하며, 최적 수렴 속도를 보장하는 매개변수화 방법을 사용한다.
• 가속화된 행렬 역행렬 알고리즘을 확률적 및 결정적 BFGS 방법의 기본 원리로 활용하여, 기존 헤시안 업데이트 규칙을 대체한다.
• 더 적극적인 역행렬 헤시안 근사가 가능한 새로운 쿼اسي-뉴턴 업데이트 규칙을 도입하여 수렴 속도를 향상시킨다.

실험 결과

연구 질문

• RQ1 Nesterov 유형의 가속화가 유클리드 공간에서의 행렬 역행렬 계산, 특히 양의 정부호 행렬에 대해 성공적으로 적용될 수 있는가?
• RQ2 가속화된 행렬 역행렬 방법이 반복값의 대칭성과 양의 정부호성을 유지할 수 있는가? 이는 최적화에서 헤시안 근사에 적합한가?
• RQ3 가속화된 행렬 역행렬을 BFGS에 통합하면 확률적 및 결정적 환경 모두에서 수렴 속도가 향상되는가?
• RQ4 다양한 스케칭 전략(좌표, 균일, 가우시안)이 가속화된 행렬 역행렬 및 BFGS 방법의 성능에 어떤 영향을 미치는가?
• RQ5 어떤 문제 조건에서 가속화가 뚜렷한 속도 향상을 가져오며, 어떤 경우에서는 향상이 미미한가?

주요 결과

• 제안된 가속화된 스케치-프로젝션 방법은 파arameter를 적절히 조정한 좌표 스케치를 사용할 경우 비가속화 대비 더 빠른 수렴 속도를 보인다.
• 유용한 확률 또는 균일 확률을 가진 좌표 스케치의 경우, 가속화된 방법은 비가속화 버전보다 뚜렷이 뛰어난 성능을 보이며, 스케칭 전략과 파arameter 조정에 대한 강한 의존성을 보인다.
• 가우시안 스케치의 경우, 가속화된 방법과 비가속화 방법 간의 성능 격차가 줄어들며, 이는 가속화가 스케칭 분포가 문제의 구조와 일치할 때 가장 효과적임을 시사한다.
• 최소 고유값 $\lambda_{\min}(A)$가 알려지지 않은 경우, $\mu = \frac{1}{100\nu}$ 또는 $\frac{1}{10000\nu}$로 선택하면 비가속화 방법과 유사한 성능를 보이며, 이는 파arameter 선택에 민감함을 나타낸다.
• 경험적 리스크 최소화 실험에서, 더 비용이 많이 드는 반복이지만 가속화된 BFGS 방법은 표준 BFGS보다 더 빠른 수렴 속도를 보이며, 솔루션 도달 시간 측면에서 실용적인 속도 향상을 입증한다.
• madelon, covtype, a9a와 같은 일부 데이터셋에서는 가속화가 제한적인 향상을 제공하며, 이는 표준 업데이트가 이미 효과적일 경우 문제의 조건과 구조에 따라 향상 여유가 적다는 것을 시사한다.