[논문 리뷰] Dynamical Primal-Dual Accelerated Method with Applications to Network Optimization

Xianlin Zeng, Jinlong Lei외 1명|arXiv (Cornell University)|2019. 12. 08.

Advanced Optimization Algorithms Research인용 수 6

한 줄 요약

이 논문은 선형 등식 제약 조건을 가진 볼록 최적화 문제에 대해 증가하는 감쇠 계수를 가진 연속시간 원본-이중 Nesterov 가속 방법을 제안하며, 이중성 갭의 최적의 $O(1/t^2)$ 수렴 속도를 달성한다. 이 방법은 분산 네트워크 최적화 문제에 적용되어 가속 수렴을 보장하는 새로운 분산 알고리즘을 도출한다.

ABSTRACT

This paper develops a continuous-time primal-dual accelerated method with an increasing damping coefficient for a class of convex optimization problems with affine equality constraints. This paper analyzes critical values for parameters in the proposed method and prove that the rate of convergence in terms of the duality gap function is $O( frac{1}{t^2})$ by choosing suitable parameters. As far as we know, this is the first continuous-time primal-dual accelerated method that can obtain the optimal rate. Then this work applies the proposed method to two network optimization problems, a distributed optimization problem with consensus constraints and a distributed extended monotropic optimization problem, and obtains two variant distributed algorithms. Finally, numerical simulations are given to demonstrate the efficacy of the proposed method.

연구 동기 및 목표

• 선형 등식 제약 조건을 가진 볼록 문제에 대해 연속 시간에서 최적의 $O(1/t^2)$ 수렴 속도를 달성하는 원본-이중 가속 방법의 부족을 보완한다.
• 기존의 분산 원본-이중 방법들이 일반적으로 $O(1/t)$ 또는 점점 수렴하는 속도를 가지는 데 비해 더 느린 수렴 속도를 극복한다.
• 가속 수렴을 보장하는 핵심 매개변수 선택을 보장하기 위해 리아푸노프 분석 기반의 통합 프레임워크를 개발한다.
• 제안된 방법을 두 가지 유형의 네트워크 최적화 문제로 확장한다: 분산 공감 제약 문제와 확장된 단조 최적화 문제.
• 이론적으로 가속된 수렴을 보장하는 분산 알고리즘을 설계하여 대규모 네트워크 시스템에서 더 빠른 수렴을 가능하게 한다.

제안 방법

• Nesterov의 가속 방법에 영감을 받아 증가하는 감쇠 계수 $\alpha(t) = \frac{2}{t}$를 가진 연속시간 원본-이중 동적 시스템을 수립한다.
• 원본 변수, 이중 변수 및 그 속도를 포함하는 항들을 조합한 리아푸노프 함수 $V(t, y, \lambda, z, \dot{y}, \dot{\lambda}, \dot{z})$를 도입하여 안정성과 수렴성을 분석한다.
• 리아푸노프 함수를 사용하여 적절한 매개변수 조건 하에서 이중성 갭과 원본-이중 잔여항이 $O(1/t^2)$로 감소함을 증명한다.
• 이 방법을 두 가지 네트워크 최적화 문제에 적용한다: 공감 제약 조건이 있는 문제와 확장된 단조 구조를 가진 문제이며, 변형된 분산 알고리즘을 도출한다.
• 라그랑주 프레임워크를 통해 알고리즘이 유한한 궤적을 유지하고 제약 조건을 만족하면서 최적 해로 수렴함을 보장한다.
• 로그-합-지수 비용 함수를 가진 네트워크 최적화 문제에 대한 수치 시뮬레이션을 통해 방법을 검증하였으며, 이전 방법들에 비해 더 빠른 수렴을 확인하였다.

실험 결과

연구 질문

• RQ1 선형 등식 제약 조건을 가진 볼록 문제에 대해 연속시간 원본-이중 방법이 최적의 $O(1/t^2)$ 수렴 속도를 달성할 수 있는가?
• RQ2 특히 감쇠 계수에서 수렴 가속을 달성하기 위해 어떤 매개변수 선택이 핵심적인가?
• RQ3 Nesterov의 가속 기법을 연속 시간의 원본-이중 설정으로 어떻게 적응시켜 제약 조건을 다루면서도 최적 수렴 속도를 유지할 수 있는가?
• RQ4 제안된 방법을 공감 또는 단조 제약 조건을 가진 분산 네트워크 최적화 문제로 확장할 수 있으며, 이때 가속 성질을 유지할 수 있는가?
• RQ5 제안된 동적 시스템의 수렴성과 속도 분석을 증명하는 데 리아푸노프 함수가 수행하는 역할은 무엇인가?

주요 결과

• 제안된 연속시간 원본-이중 방법은 이중성 갭에 대해 $O(1/t^2)$ 수렴 속도를 달성하며, 이는 1차 방법에 대해 최적이 된다.
• 이 방법은 $L_2(y(t), z^*, \lambda^*) - L_2(y^*, z^*, \lambda(t)) = O(1/t^2)$를 보장하여 라그랑주 함수의 빠른 수렴을 나타낸다.
• 이중 변수 노름은 $\|\lambda(t)^\top L_{n\circ m} \lambda(t)\| = O(1/t^2)$를 만족하여 제약 조건의 신속한 이행을 확인한다.
• 원본 및 이중 속도 항은 $O(1/t)$로 감소하여 부드러운 수렴 행동을 나타낸다.
• 수치 시뮬레이션을 통해 제안된 방법이 [2] 및 [19]의 이전 알고리즘들보다 더 빠른 수렴을 보임을 확인하였으며, 특히 비용 함수의 로그 스케일 플롯에서 두드러진다.
• 알고리즘이 제약 위반도 $\|d_0 - Wy\|^2$를 0으로 이끌어내어 해의 타당성을 확인한다.