[논문 리뷰] Distributed Adaptive Newton Methods with Globally Superlinear Convergence

Jiaqi Zhang, Keyou You외 1명|arXiv (Cornell University)|2020. 02. 18.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 11

한 줄 요약

이 논문은 네트워크 상에서 분산 최적화를 위한 분산 적응 뉴턴(DAN)과 그 통신 효율적인 변종인 DAN-LA를 제안한다. 유한 시간 집합 공감 방법을 폴리악의 적응 뉴턴 방법과 융합하고, 낮은 질량의 헤시안 행렬 근사법을 사용함으로써, DAN과 DAN-LA는 각각 전역적으로 초선형 및 이차 수렴 속도를 달성하며, 메시지 크기를 반복당 O(p)로 줄였다. 이는 일阶 방법과 동일한 통신 비용을 가지면서도 수렴 속도에서 뛰어나다.

ABSTRACT

This paper considers the distributed optimization problem over a network where the global objective is to optimize a sum of local functions using only local computation and communication. Since the existing algorithms either adopt a linear consensus mechanism, which converges at best linearly, or assume that each node starts sufficiently close to an optimal solution, they cannot achieve globally superlinear convergence. To break through the linear consensus rate, we propose a finite-time set-consensus method, and then incorporate it into Polyak's adaptive Newton method, leading to our distributed adaptive Newton algorithm (DAN). To avoid transmitting local Hessians, we adopt a low-rank approximation idea to compress the Hessian and design a communication-efficient DAN-LA. Then, the size of transmitted messages in DAN-LA is reduced to $O(p)$ per iteration, where $p$ is the dimension of decision vectors and is the same as the first-order methods. We show that DAN and DAN-LA can globally achieve quadratic and superlinear convergence rates, respectively. Numerical experiments on logistic regression problems are finally conducted to show the advantages over existing methods.

연구 동기 및 목표

• 기존의 선형 공감 메커니즘에 의존하는 분산 알고리즘의 선형 수렴 속도 제한을 극복하기 위해.
• 최적해에 가까운 초기화가 필요 없이도 분산 최적화에서 전역적으로 초선형 수렴을 달성하기 위해.
• 헤시안 전송 시 통신 오버헤드를 줄이면서도 빠른 수렴 속도를 유지하기 위해.
• 대규모 분산 시스템에 적합한 통신 효율적인 적응 뉴턴 방법의 설계를 위해.

제안 방법

• 기존의 선형 공감을 대체하기 위해 유한 시간 집합 공감 방법을 제안하여 노드 간의 더 빠른 합의를 가능하게 한다.
• 유한 시간 집합 공감을 폴리악의 적응 뉴턴 방법과 융합하여 분산 적응 뉴턴(DAN) 알고리즘을 구성한다.
• 지역 헤시안 행렬을 압축하기 위해 낮은 질량 근사법을 적용하여 반복당 통신 비용을 O(p)로 감소시킨다.
• DAN의 통신 효율적인 변종인 DAN-LA를 설계하여 초선형 수렴을 유지하면서도 최소한의 메시지 크기를 확보한다.
• 지역 함수 값과 헤시안 근사값에 기반한 적응적 스텝 사이즈를 사용하여 수렴 속도를 가속화한다.
• 네트워크 전역에서 함수 값과 헤시안 근사값에 대한 공감을 유지함으로써 전역 수렴을 보장한다.

실험 결과

연구 질문

• RQ1 초기화가 최적해 근처에 있지 않아도 분산 최적화 알고리즘이 전역적으로 초선형 수렴을 달성할 수 있는가?
• RQ2 유한 시간 집합 공감이 선형 공감을 대체하여 분산 뉴턴 방법에서 선형 수렴 장벽을 돌파할 수 있는가?
• RQ3 반복당 O(p) 크기로 헤시안 정보를 압축할 수 있으며, 수렴 속도를 희생시키지 않을 수 있는가?
• RQ4 제안된 방법은 일阶 및 기존의 이阶 분산 방법과 수렴 속도와 통신 비용 측면에서 어떻게 비교되는가?

주요 결과

• DAN은 전역적으로 이차 수렴을 달성하여, 선형 수렴하는 일阶 및 이阶 방법보다 뚜렷이 뛰어나다.
• DAN-LA는 반복당 메시지 크기를 O(p)로 줄여 통신 비용을 일阶 방법과 동일하게 유지하면서도 초선형 수렴을 달성한다.
• 유한 시간 집합 공감 메커니즘이 기존의 선형 공감보다 빠른 노드 간 합의를 가능하게 하여 수렴 속도를 가속화한다.
• 로지스틱 회귀에 대한 수치 실험 결과, DAN과 DAN-LA가 기존의 분산 방법보다 더 빠르게 수렴함을 보이며, 특히 초기 반복에서 두드러진 성능을 보였다.
• 낮은 질량 헤시안 근사법은 수렴 속도를 유지하면서도 통신 오버헤드를 극적으로 줄여, 이 방법이 확장 가능하게 한다.