[논문 리뷰] Network Newton-Part II: Convergence Rate and Implementation

Aryan Mokhtari, Qing Ling외 1명|arXiv (Cornell University)|2015. 04. 23.

Distributed Control Multi-Agent Systems참고 문헌 20인용 수 26

한 줄 요약

이 논문은 네트워크의 구조에 기인한 헤시안의 희박성과 함께, 역 헤시안의 테일러 급수 전개를 K항으로 잘라내어 뉴턴 단계를 근사함으로써 수렴 속도를 높이는 분산 최적화 방법인 Network Newton-K (NN-K)를 제안한다. NN-K는 K가 증가함에 따라 증가하는 간격 내에서 이차 수렴을 달성함을 입증하며, 이는 특히 불량 조건 문제에서 분산 경사 하강법(DGD)보다 더 빠른 수렴을 가능하게 한다.

ABSTRACT

The use of network Newton methods for the decentralized optimization of a sum cost distributed through agents of a network is considered. Network Newton methods reinterpret distributed gradient descent as a penalty method, observe that the corresponding Hessian is sparse, and approximate the Newton step by truncating a Taylor expansion of the inverse Hessian. Truncating the series at $K$ terms yields the NN-$K$ that requires aggregating information from $K$ hops away. Network Newton is introduced and shown to converge to the solution of the penalized objective function at a rate that is at least linear in a companion paper [3]. The contributions of this work are: (i) To complement the convergence analysis by studying the methods' rate of convergence. (ii) To introduce adaptive formulations that converge to the optimal argument of the original objective. (iii) To perform numerical evaluations of NN-$K$ methods. The convergence analysis relates the behavior of NN-$K$ with the behavior of (regular) Newton's method and shows that the method goes through a quadratic convergence phase in a specific interval. The length of this quadratic phase grows with $K$ and can be made arbitrarily large. The numerical experiments corroborate reductions in the number of iterations and the communication cost that are necessary to achieve convergence relative to distributed gradient descent.

연구 동기 및 목표

• 원래의 수렴 분석을 완성하기 위해, 특히 이차 수렴 단계를 특정하는 수렴 속도를 규명하는 것.
• 원래 목적 함수의 정확한 최적해로 수렴하는 적응형 변형(ANN-K)을 개발하여, NN-K가 페널티 문제로 수렴하는 부분적인 최적화 문제를 해결하는 것.
• 반복 횟수와 통신 비용 측면에서 분산 경사 하강법(DGD)과 비교하여 NN-K와 ANN-K의 성능을 수치적으로 평가하는 것.
• 증가하는 잘라내기 순서 K가 이차 수렴 단계의 길이를 어떻게 연장하는지 보여주는 것.
• ANN-K의 페널티 계수 설정에 있어 실용적인 통찰을 제공하는 것.

제안 방법

• NN-K는 네트워크 구조에 기인한 헤시안의 희박성을 활용하여, 역 헤시안의 테일러 급수 전개를 K항으로 잘라내어 뉴턴 단계를 근사한다.
• 이 방법은 K-호프 이웃에서의 정보를 집계함으로써 분산 방식으로 근사된 역 헤시안을 계산하여, 분산 구현을 가능하게 한다.
• 수렴 분석 결과, NN-K 반복의 가중치가 부여된 기울기 노름은 표준 뉴턴 방법의 경로와 유사하며, 이는 헤시안 역행렬 근사 오차를 기록하는 잔차 항을 포함한다.
• 특정 간격 내에서 이차 수렴 단계가 존재함을 증명하였으며, 이 단계의 길이가 K에 비례하여 증가하고, K가 증가함에 따라 임의로 크게 될 수 있음을 보였다.
• 원래 목적 함수의 정확한 최적해로 수렴하기 위해 증가하는 페널티 계수의 시퀀스를 사용하는 적응형 변형인 ANN-K를 도입하였다.
• 헤시안의 성질, 기울기 노름, 행렬 노름을 이용하여 이론적 경계를 유도하였으며, ρ, ε, λ와 같은 항을 포함하는 재귀 부등식을 통해 수렴 속도를 분석하였다.

실험 결과

연구 질문

• RQ1 NN-K의 수렴 속도는 무엇이며, 표준 뉴턴 방법과 유사한 이차 수렴 단계를 보이는가?
• RQ2 NN-K의 이차 수렴 단계 길이가 잘라내기 순서 K에 어떻게 의존하는가?
• RQ3 NN-K가 페널티 목적 함수로 수렴하는 부분 최적화 문제를 해결하여 원래 문제의 정확한 최적해로 수렴할 수 있는가?
• RQ4 불량 조건 문제에서 NN-K와 ANN-K는 반복 횟수와 통신 비용 측면에서 분산 경사 하강법(DGD)과 어떻게 비교되는가?
• RQ5 ANN-K에서 수렴 속도와 정확도를 균형 잡기 위해 페널티 계수와 그 갱신 비율의 최적 설정은 무엇인가?

주요 결과

• NN-K는 K가 증가함에 따라 증가하는 이차 수렴 단계를 달성하며, K를 증가시킴으로써 이 단계의 길이를 임의로 크게 만들 수 있다.
• NN-K의 수렴 속도는 최소 선형이지만, 상당한 간격 동안 더 빠른 이차 단계로 전이되며, 이는 DGD보다 우수한 성능을 설명한다.
• 수치 실험 결과, NN-K는 특히 불량 조건 문제에서 DGD보다 반복 횟수와 통신 비용을 줄였다.
• 통신 비용 측면에서 K=1과 K=2일 때 NN-K가 가장 우수한 성능를 보였으며, 이는 수렴 속도와 각 반복의 통신 부담 사이의 트레이드오프를 시사한다.
• ANN-K는 점진적으로 증가하는 페널티 계수를 사용함으로써 원래 목적 함수의 정확한 최적해로 수렴하는 데 성공하였다.
• ANN-K의 성능는 초기 페널티 계수와 그 증가 비율의 선택에 민감하며, 수치 결과는 수렴 속도와 정확도 사이의 트레이드오프를 잘 보여준다.