[논문 리뷰] Accelerated Dual Descent for Network Optimization

Michael Zargham, Alejandro Ribeiro외 2명|arXiv (Cornell University)|2011. 04. 06.

Sparse and Compressive Sensing Techniques참고 문헌 12인용 수 29

한 줄 요약

이 논문은 네트워크 플로우 문제를 위한 분산 최적화 알고리즘 가족인 가속화된 이중 강하(ADD)를 제안한다. 이 방법은 역헤세안의 테일러 전개를 통해 국소적인 근사값을 사용하여 뉴턴 단계를 근사함으로써 초선형 수렴을 달성한다. 매개변수 N을 통해 통신 비용과 정확도 사이의 트레이드오프를 조절할 수 있으며, 수치 실험에서 ADD-1과 ADD-2는 하위기울기 강하법보다 최대 두 계단 빠르고, 공통화 기반 뉴턴 방법보다 한 계단 빠르게 수렴한다.

ABSTRACT

Dual descent methods are commonly used to solve network optimization problems because their implementation can be distributed through the network. However, their convergence rates are typically very slow. This paper introduces a family of dual descent algorithms that use approximate Newton directions to accelerate the convergence rate of conventional dual descent. These approximate directions can be computed using local information exchanges thereby retaining the benefits of distributed implementations. The approximate Newton directions are obtained through matrix splitting techniques and sparse Taylor approximations of the inverse Hessian.We show that, similarly to conventional Newton methods, the proposed algorithm exhibits superlinear convergence within a neighborhood of the optimal value. Numerical analysis corroborates that convergence times are between one to two orders of magnitude faster than existing distributed optimization methods. A connection with recent developments that use consensus iterations to compute approximate Newton directions is also presented.

연구 동기 및 목표

• 기존의 이중 강하 방법이 분산 네트워크 최적화에서 느린 수렴 속도를 보이는 문제를 해결하기 위해.
• 전역 정보가 필요 없이 분산 환경에서 이차 최적화를 가능하게 하기 위해.
• 스케일러블하고 통신 효율적인 방법을 개발하여 국소적인 뉴턴 단계 근사값을 통해 초선형 수렴을 유지하기 위해.
• 분산 헤세안 역행렬 계산에서 근사 정확도와 통신 비용 사이의 트레이드오프를 설정하기 위해.
• 제안된 방법이 기존의 분산 방법보다 수렴 속도와 통신 효율성 측면에서 뛰어나다는 것을 입증하기 위해.

제안 방법

• 방법은 역헤세안 행렬의 테일러 급수 전개를 사용하여 국소 정보 교환만으로 뉴턴 방향을 근사한다.
• 근사 순서 N은 근사 뉴턴 단계를 계산하기 위해 필요한 이웃의 깊이(즉, N스텝)를 결정하며, 이는 정확도와 통신 비용 사이의 트레이드오프를 가능하게 한다.
• 행렬 분할 기법을 사용하여 헤세안 역행렬 근사를 분해함으로써 뉴턴 단계 방향의 분산 계산을 가능하게 한다.
• 근사된 뉴턴 방향을 사용하더라도 전역 수렴을 보장하기 위해 백트래킹 선 탐색을 통합한다.
• 알고리즘은 이중 강하에서 유도되었으며, 국소 변수와 이웃 정보를 사용하여 업데이트가 수행되어 완전한 분산성 유지된다.
• 일부 조건 하에서 이 방법은 공통화 기반 뉴턴 방법과 동일한 것으로 나타나, 최근 두 가지 접근법을 통합한다.

실험 결과

연구 질문

• RQ1 전역 정보가 없이도 분산 네트워크 환경에서 이차 최적화를 효과적으로 적용할 수 있는가?
• RQ2 국소 정보 교환만으로 근사된 뉴턴 방향을 어떻게 계산할 수 있는가?
• RQ3 분산 뉴턴 유사 방법에서 근사 정확도(매개변수 N를 통해)와 통신 비용 사이의 트레이드오프는 무엇인가?
• RQ4 근사된 뉴턴 단계를 사용할 경우 분산 최적화에서 초선형 수렴이 유지되는가?
• RQ5 제안된 방법은 하위기울기 강하법과 공통화 기반 뉴턴 방법과 비교해 수렴 속도와 통신 비용 측면에서 어떻게 다른가?

주요 결과

• ADD-1과 ADD-2는 반복 횟수 측면에서 기존의 하위기울기 강하법보다 최대 두 계단 빠른 수렴 속도를 달성한다.
• 총 통신 인스턴스 측면에서 ADD-1과 ADD-2는 공통화 기반 뉴턴 방법보다 약 한 계단 빠르다.
• ADD-2는 ADD-3보다 총 통신 횟수가 적어, 근사 순서와 통신 비용 사이의 비단조화적인 트레이드오프를 나타낸다.
• 이 방법은 국소적인 초선형 수렴을 보이며, 중심화된 뉴턴 방법과 동일한 수렴 행동을 보인다.
• ADD는 다양한 무작위 네트워크 구조에서 일관된 성능을 보이며, 최소, 평균, 최대 통신 비용 간의 변동이 매우 작다.
• 네트워크 크기가 증가함에 따라 ADD와 경쟁 방법 간의 성능 격차가 커지며, 이는 확장성의 우수성을 시사한다.