[논문 리뷰] On Convergence of Distributed Approximate Newton Methods: Globalization, Sharper Bounds and Beyond

Xiao–Tong Yuan, Ping Li|arXiv (Cornell University)|2019. 08. 06.

Advanced Optimization Algorithms Research인용 수 14

한 줄 요약

이 논문은 이차 및 비이차 강凸 함수에 대해 전역 수렴성과 더 날카운 국소 수렴 속도를 달성하기 위해 DANE 알고리즘의 개선된 변종—백트래킹 선검색를 적용한 DANE와 DANE-HB(High-Ball)—를 제안한다. 선형 모델에 대해 거의 날카운 국소 수렴 속도와 전역 수렴성을 확립하였으며, 리아푸노프 분석을 통해 통신 및 계산 복잡도 상한을 향상시켰다.

ABSTRACT

The DANE algorithm is an approximate Newton method popularly used for communication-efficient distributed machine learning. Reasons for the interest in DANE include scalability and versatility. Convergence of DANE, however, can be tricky; its appealing convergence rate is only rigorous for quadratic objective, and for more general convex functions the known results are no stronger than those of the classic first-order methods. To remedy these drawbacks, we propose in this paper some new alternatives of DANE which are more suitable for analysis. We first introduce a simple variant of DANE equipped with backtracking line search, for which global asymptotic convergence and sharper local non-asymptotic convergence rate guarantees can be proved for both quadratic and non-quadratic strongly convex functions. Then we propose a heavy-ball method to accelerate the convergence of DANE, showing that nearly tight local rate of convergence can be established for strongly convex functions, and with proper modification of algorithm the same result applies globally to linear prediction models. Numerical evidence is provided to confirm the theoretical and practical advantages of our methods.

연구 동기 및 목표

• 비이차 목표 함수에 대해 표준 DANE의 전역 수렴성 부족 및 약한 국소 수렴 보장 문제를 해결하기 위해.
• 증명 가능 전역 점근 수렴성과 더 날카운 국소 비점근 수렴 속도를 갖는 새로운 DANE 변종을 개발하기 위해.
• 하이브리드-볼 가속을 활용해 선형 예측 모델에 대한 수렴 보장을 확장하기 위해.
• 분산 근사 뉴턴 방법의 수렴 분석을 위한 통합 리아푸노프 기반 프레임워크를 제공하기 위해.
• 알고리즘적 개선을 통해 통신 및 계산 복잡도 상한을 향상시키기 위해.

제안 방법

• 전역 수렴성과 국소 수렴 속도 향상을 보장하기 위해 DANE의 백트래킹 선검색 변종을 도입한다.
• 강凸 함수에 대해 거의 날카운 국소 수렴 속도를 달성하는 하이브리드-볼 가속 DANE 변종인 DANE-HB를 제안한다.
• 수렴성을 증명하기 위해 리아푸노프 함수 프레임워크를 사용하여 더 날카운 상한과 통합 분석을 가능하게 한다.
• 하위문제의 국소 해법으로 SVRG를 활용하며, IFO 복잡도를 계산 복잡도 측정 기준으로 사용한다.
• 이차 목표 함수에 대해 통신 복잡도 상한을 $\mathcal{O}\left(\frac{\sqrt{\kappa}}{n^{1/4}}\log\left(\frac{1}{\epsilon}\right)\right)$ 로 유도한다.
• 알고리즘적 구조를 조정하여 DANE-HB를 선형 모델에 대해 전역 수렴성을 확보하도록 수정한다.

실험 결과

연구 질문

• RQ1 비이차 강凸 함수에 대해 DANE를 수정하여 전역 수렴성을 달성할 수 있는가?
• RQ2 분산 환경에서 근사 뉴턴 방법이 달성할 수 있는 최선의 국소 비점근 수렴 속도는 무엇인가?
• RQ3 하이브리드-볼 가속을 DANE에 효과적으로 통합하여 수렴 속도를 향상시킬 수 있는가?
• RQ4 새로운 DANE 변종의 통신 및 계산 복잡도는 SVRG와 같은 1차 방법과 비교해 어떻게 되는가?
• RQ5 제안된 방법은 선형 모델을 포함한 다양한 모델 유형에서도 수렴 보장을 유지할 수 있는가?

주요 결과

• 제안된 백트래킹 DANE 변종은 이차 및 비이차 강凸 함수에 대해 전역 점근 수렴성과 더 날카운 국소 비점근 수렴 속도를 달성한다.
• DANE-HB는 강凸 함수에 대해 거의 날카운 국소 수렴 속도를 달성하며, 기존 알려진 하한과 이론적으로 일치하는 보장을 갖는다.
• 적절한 수정을 통해 DANE-HB는 선형 예측 모델에 대해 전역 수렴성을 보장하여 이차 사례를 초월한 적용 가능성을 넓힌다.
• DANE-HB의 통신 복잡도는 $\mathcal{O}\left(\frac{\sqrt{\kappa}}{n^{1/4}}\log\left(\frac{1}{\epsilon}\right)\right)$ 이며, 표준 DANE를 초월하고 거의 날카운 상한과 일치한다.
• DANE-HB의 IFO 복잡도는 $\mathcal{O}\left(\sqrt{\kappa}\left(n^{3/4}+n^{1/4}\right)\log^{2}\left(\frac{1}{\epsilon}\right)\right)$ 이며, 대규모 환경에서 SVRG 대비 최대 $m^{3/4}$의 계산 절감 효과를 제공한다.
• 수치적 결과는 이론적 이점을 확인하며, 실질적으로 더 빠른 수렴 속도와 향상된 통신 효율성을 보여준다.