[논문 리뷰] Asynchronous Stochastic Quasi-Newton MCMC for Non-Convex Optimization

Umut Şimşekli, Çağatay Yıldız외 3명|arXiv (Cornell University)|2018. 06. 07.

Markov Chains and Monte Carlo Methods참고 문헌 8인용 수 17

한 줄 요약

이 논문은 비볼록 최적화를 위한 이방성 확률적 L-BFGS 알고리즘을 제안하며, 동기화 없이 병렬이며 분산된 업데이트를 가능하게 하기 위해 확률적 경사수렴 마르코프 체인 몬테카를로(SG-MCMC)를 활용한다. 이 방법은 $\mathcal{O}(1/\sqrt{N})$의 에르고딕 수렴 속도를 달성하고 분산 환경에서 선형 속도 향상을 보이며, 실제 행렬 분해 작업에서 동기화 대비 우수한 성능을 보인다.

ABSTRACT

Recent studies have illustrated that stochastic gradient Markov Chain Monte Carlo techniques have a strong potential in non-convex optimization, where local and global convergence guarantees can be shown under certain conditions. By building up on this recent theory, in this study, we develop an asynchronous-parallel stochastic L-BFGS algorithm for non-convex optimization. The proposed algorithm is suitable for both distributed and shared-memory settings. We provide formal theoretical analysis and show that the proposed method achieves an ergodic convergence rate of ${\cal O}(1/\sqrt{N})$ ($N$ being the total number of iterations) and it can achieve a linear speedup under certain conditions. We perform several experiments on both synthetic and real datasets. The results support our theory and show that the proposed algorithm provides a significant speedup over the recently proposed synchronous distributed L-BFGS algorithm.

연구 동기 및 목표

• 분산 최적화에서 협업 오버헤드로 인해 동기화 병렬 L-BFGS의 효율성이 떨어지는 문제를 해결한다.
• 대규모 비볼록 문제에서 계산 효율성을 향상시키기 위해 확률적 L-BFGS를 이방성 환경으로 확장한다.
• 이방성 환경에서도 수렴 보장을 유지할 수 있는 이론적으로 탄탄한 방법을 개발한다.
• 다양한 워커 속도를 가진 이질적인 대규모 클러스터에서의 실용적 구현을 가능하게 한다.
• 실제 데이터셋에서 동기화 및 확률적 경사하강법 기반 대비 더 뛰어난 수렴 및 속도 향상을 입증한다.

제안 방법

• 비볼록 최적화 문제를 최적점에 집중된 사후분포의 모드를 목표로 하는 베이지안 샘플링 과제로 재구성한다.
• SG-MCMC 프레임워크를 채택하여, 제한된 메모리 BFGS 업데이트를 통해 역행렬을 근사하는 확률적 경사 기반 업데이트 규칙을 유도한다.
• 워커 프로세스가 동기화 없이 독립적으로 미니배치를 샘플링하고 헤시안 근사값을 업데이트할 수 있도록 이방성 업데이트를 도입한다.
• 랜덤으로 선택된 데이터 하위집합에서 계산된 편향이 없는 확률적 경사 추정자 $\nabla\tilde{U}(\theta)$를 사용한다.
• 헤시안 근사값 $H_n$에 작은 $\rho I$ 정규화를 추가하여 수치적 안정성을 유지한다.
• 예측된 랭글레인 역학 단계를 통합하여, 이방성 업데이트 조건에서도 목표 분포로의 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 확률적 L-BFGS는 수렴 보장을 유지하면서 이방성 및 분산 아키텍처로 효과적으로 확장될 수 있는가?
• RQ2 비볼록 환경에서 이방성 확률적 L-BFGS 방법의 이론적 수렴 속도는 무엇인가?
• RQ3 실제 분산 조건에서 워커 수에 따라 선형 속도 향상이 달성되는가?
• RQ4 실제 비볼록 문제에서 이방성 L-BFGS의 성능은 동기화 및 확률적 경사하강법 기반 대비 어떻게 비교되는가?
• RQ5 이방성으로 인한 지연과 오래된 경사 정보가 수렴과 해의 품질에 어떤 영향을 미치는가?

주요 결과

• 제안된 as-L-BFGS 알고리즘은 총 반복 수 $N$에 대해 $\mathcal{O}(1/\sqrt{N})$의 에르고딕 전역 수렴 속도를 달성한다.
• 이deal 조건에서, 워커 수에 따라 선형 속도 향상을 달성하며, 최대 10명의 워커를 사용한 ML-1M 데이터셋에서 검증되었다.
• MovieLens 데이터셋에서 as-L-BFGS는 최종 RMSE에서 동기화 mb-L-BFGS를 능가하여, 더 높은 경사 변동성에도 불구하고 더 나은 국소 최소값 탐색을 보였다.
• 100만에서 2000만 개의 평가를 포함한 대규모 행렬 분해 작업에서, as-L-BFGS는 동기화 mb-L-BFGS보다 뚜렷한 속도 향상을 보였다.
• 워커 수가 20으로 증가할 경우, $l_{\text{max}}h$ 항의 지배로 인해 불안정성이 발생하여 단계 크기 조정과 더 긴 학습 시간이 필요했다.
• 실제 데이터에서 as-L-BFGS는 a-SGD보다 유사하거나 더 빠른 수렴을 달성하여, 단계당 더 높은 계산 비용에도 불구하고 L-BFGS의 곡률 정보가 성능 우위를 제공함을 시사한다.