[논문 리뷰] A distributed primal-dual interior-point method for loosely coupled problems using ADMM

Mariette Annergren, Sina Khoshfetrat Pakazad외 2명|arXiv (Cornell University)|2014. 06. 09.

Advanced Optimization Algorithms Research참고 문헌 49인용 수 9

한 줄 요약

이 논문은 ADMM를 통합하여 타깃 방향을 계산함으로써 느슨하게 결합된 볼록 최적화 문제를 위한 분산 원천-이중 내점법을 제안한다. 이 방법은 닫힘 형식의 업데이트와 병렬화 가능한 방향 계산을 가능하게 하여 각 에이전트당 계산 부담을 감소시키고 수렴 성능을 향상시켜, 최대 55% 적은 반복 수로 표준 ADMM보다 우수한 수치 실험 성능을 보였다.

ABSTRACT

In this paper we propose an efficient distributed algorithm for solving loosely coupled convex optimization problems. The algorithm is based on a primal-dual interior-point method in which we use the alternating direction method of multipliers (ADMM) to compute the primal-dual directions at each iteration of the method. This enables us to join the exceptional convergence properties of primal-dual interior-point methods with the remarkable parallelizability of ADMM. The resulting algorithm has superior computational properties with respect to ADMM directly applied to our problem. The amount of computations that needs to be conducted by each computing agent is far less. In particular, the updates for all variables can be expressed in closed form, irrespective of the type of optimization problem. The most expensive computational burden of the algorithm occur in the updates of the primal variables and can be precomputed in each iteration of the interior-point method. We verify and compare our method to ADMM in numerical experiments.

연구 동기 및 목표

• 느슨하게 결합된 볼록 최적화 문제를 해결하는 데 있어 표준 ADMM의 한계, 특히 느린 수렴 속도와 높은 반복 횟수를 해결하기 위해.
• 원천-이중 내점법의 빠른 국소 수렴 성능과 ADMM의 분산 및 병렬 처리 가능한 구조를 융합하기 위해.
• 모든 변수에 대해 문제 유형에 관계없이 닫힘 형식의 업데이트를 가능하게 함으로써 각 에이전트의 계산 부담을 감소시키기 위해.
• 문제의 결합 구조를 선형 시스템 해법에서 그대로 유지하면서도 확장 가능한 분산 알고리즘을 개발하기 위해.
• 이론적 수렴 보장과 표준 ADMM에 대한 실증적 검증을 제공하기 위해.

제안 방법

• 알고리즘은 원천-이중 내점 프레임워크를 사용하며, 검색 방향은 전체 KKT 시스템을 직접 푸는 대신 ADMM를 통해 계산한다.
• ADMM는 내점법의 보조 문제에 대한 KKT 시스템에 적용되어 각 에이전트별 국소 보조 문제로 분해된다.
• 모든 변수 업데이트(원천, 이중, 슬랙)가 닫힘 형식으로 표현되어 효율적인 국소 계산이 가능하다.
• 가장 계산 부담이 큰 단계인 원천 변수 업데이트는 내점법 반복마다 사전에 계산되어 온라인 부담을 줄인다.
• 외부 내점법 반복이 최적해에서 멀리 떨어져 있을 경우 불필요한 계산을 줄이기 위해 ADMM의 내부 반복에 적응형 정확도 제어를 적용한다.
• 알고리즘은 선형 시스템에서 원래 문제의 느슨하게 결합된 구조를 유지하여 효율적인 분산 해법이 가능하다.

실험 결과

연구 질문

• RQ1 ADMM는 느슨하게 결합된 문제에 대해 원천-이중 내점법 프레임워크에 효과적으로 통합될 수 있는가? 이는 수렴 성능과 확장성 향상에 기여하는가?
• RQ2 제안된 방법은 표준 ADMM에 비해 반복 횟수와 각 에이전트당 계산 부담을 줄일 수 있는가?
• RQ3 ADMM 보조 문제에서 모든 변수에 대해 문제의 함수 형태에 관계없이 닫힘 형식의 업데이트를 달성할 수 있는가?
• RQ4 ADMM의 내부 반복에서의 적응형 정확도 제어는 전체 수렴 속도와 효율성에 어떤 영향을 미치는가?
• RQ5 분산 계산을 가능하게 하면서도 문제의 결합 구조를 어느 정도 유지할 수 있는가?

주요 결과

• 몬테카를로 시뮬레이션에서 10개의 보조 문제를 가진 경우, 제안된 알고리즘(알고리즘 6)은 표준 ADMM 대비 반복 횟수를 55% 감소시켰다.
• 11개의 보조 문제를 가진 문제에서 알고리즘 6는 5,469회의 반복을 필요로 하였으며, ADMM 대비 33% 향상된 성능를 보였고, 이중 잔차와 이중성 갭 측면에서 우수한 수렴 성능를 보였다.
• 서브티튜트 이중성 갭과 목적 함수 오차 측면에서 더 빠른 수렴 성능를 보였으며, 전역 이중성 갭은 ADMM보다 더 빠르게 감소하였다.
• 모든 변수 업데이트가 닫힘 형식으로 계산되어 각 에이전트의 계산 복잡도가 크게 감소하였다.
• ADMM의 내부 반복에서의 적응형 정확도 전략은 특히 외부 내점법 반복의 초반 단계에서 불필요한 계산을 줄였다.
• 제시된 가정 하에 최적해 수렴을 유지하였으며, 다양한 시험 케이스에서 강력한 실증 성능를 보였다.