[논문 리뷰] On the Convergence of Alternating Direction Lagrangian Methods for Nonconvex Structured Optimization Problems

Sindri Magnússon, Pradeep Chathuranga Weeraddana외 2명|arXiv (Cornell University)|2014. 09. 29.

Indoor and Outdoor Localization Technologies참고 문헌 12인용 수 7

한 줄 요약

이 논문은 비볼록 구조 문제에 대해 분산 최적화 방법인 교대 방향 페널티 방법(ADPM)과 ADMM의 수렴성을 분석한다. 두 방법이 점점 더 첫 번째 순서 최적성 조건을 만족함을 보이며, ADMM는 저차원 비볼록 문제의 한 클래스에 대해 수렴함을 입증하였고, 무선 센서 네트워크 위치 지정 사례 연구를 통해 검증되었다.

ABSTRACT

Nonconvex and structured optimization problems arise in many engineering applications that demand scalable and distributed solution methods. The study of the convergence properties of these methods is in general difficult due to the nonconvexity of the problem. In this paper, two distributed solution methods that combine the fast convergence properties of augmented Lagrangian-based methods with the separability properties of alternating optimization are investigated. The first method is adapted from the classic quadratic penalty function method and is called the Alternating Direction Penalty Method (ADPM). Unlike the original quadratic penalty function method, in which single-step optimizations are adopted, ADPM uses an alternating optimization, which in turn makes it scalable. The second method is the well-known Alternating Direction Method of Multipliers (ADMM). It is shown that ADPM for nonconvex problems asymptotically converges to a primal feasible point under mild conditions and an additional condition ensuring that it asymptotically reaches the standard first order necessary conditions for local optimality are introduced. In the case of the ADMM, novel sufficient conditions under which the algorithm asymptotically reaches the standard first order necessary conditions are established. Based on this, complete convergence of ADMM for a class of low dimensional problems are characterized. Finally, the results are illustrated by applying ADPM and ADMM to a nonconvex localization problem in wireless sensor networks.

연구 동기 및 목표

• ADMM와 페널티 기반 방법의 비볼록 최적화에서 이론적 수렴 보장이 부족한 데 비해, 실제로는 성공을 거두고 있음에도 불구하고 이를 해결하고자 한다.
• ADPM와 ADMM와 같은 확장 가능한 분산 알고리즘들이 비볼록 환경에서 의미 있는 해에 수렴할 수 있는지 조사하고자 한다.
• ADPM와 ADMM가 점점 더 국소 최적성에 대한 첫 번째 순서 필수 조건을 만족함을 보장하는 이론적 조건을 제공하고자 한다.
• 무선 센서 네트워크에서의 비볼록 협동 위치 지정 문제를 통해 이러한 방법의 실용적 적용 가능성을 보여주고자 한다.
• ADMM가 수렴하는 첫 번째 순서 최적성 조건을 보장하는 저차원 비볼록 문제의 한 클래스를 규명하고자 한다.

제안 방법

• 이차 페널티 방법의 분산 변형인 ADPM을 제안하며, 단일 단계 업데이트 대신 교대 최소화를 사용함으로써 확장 가능성을 높인다.
• 증강 라그랑주 하위문제를 분할하여 문제의 구조를 활용함으로써 ADMM을 적응시켜 분산 구현을 가능하게 한다.
• 수렴 행동을 향상시키기 위해 이중 변수 업데이트 규칙(식 61)을 도입한다. 특히 비볼록 영역에서의 성능 향상에 기여한다.
• 유계성 조건을 만족하는 반복값을 통해 이론적 수렴을 확립하며, 이는 기울기가 유계가 아니어도 되지만 이중 변수는 유계여야 한다는 약한 가정을 포함한다.
• 네트워크를 통해 분산 계산을 가능하게 하기 위해 최적화 문제를 공통화 기반 재구성한다.
• 범위 측정치를 로그-거리 경로 손실 모델로 모델링하여 무선 센서 네트워크의 비볼록 위치 지정 문제에 방법을 적용한다.

실험 결과

연구 질문

• RQ1 ADPM가 비볼록 문제에서 어떤 조건을 만족할 경우 점점 더 원본 타당성을 확보하고 첫 번째 순서 필수 최적성 조건을 만족하게 되는가?
• RQ2 ADMM가 비볼록 환경에서 국소 최적성에 대한 첫 번째 순서 필수 조건을 점점 더 만족시키기 위한 충분한 조건은 무엇인가?
• RQ3 ADMM가 특정 저차원 비볼록 문제의 한 클래스에 대해 첫 번째 순서 최적 해에 수렴할 수 있는가?
• RQ4 이중 변수 업데이트(식 61)를 포함할 경우, 업데이트 없이 수행할 경우와 비교해 수렴 성능에 어떤 영향을 미치는가?
• RQ5 ADPM와 ADMM가 무선 센서 네트워크 위치 지정과 같은 실용적 비볼록 응용에서 얼마나 좋은 해를 달성하는가?

주요 결과

• ADPM는 약한 가정 하에 점점 더 원본 타당성을 확보하며, 추가 조건이 만족되면 첫 번째 순서 필수 최적성 조건을 만족하는 점으로 수렴함을 보였다.
• ADMM는 새로운 충분 조건 하에 비볼록 설정에서 점점 더 국소 최적성에 대한 첫 번째 순서 필수 조건을 만족함을 입증하였으며, 이 조건은 저차원 비볼록 문제의 한 클래스에 대해 성립한다.
• 수치 결과는 ADMM에 이중 변수 업데이트(예: ADMM-1 및 ADMM-10)를 적용한 경우, DGD 및 이중 변수 업데이트 없이 수행된 ADPM보다 공준 및 기울기 노름의 감쇠 속도가 더 빠름을 보였다.
• 비볼록성과 다수의 국소 최소값이 존재함에도 불구하고, 모든 알고리즘이 센서 네트워크 위치 지정 문제에서 진짜 노드 위치에 가까운 타당한 해로 수렴하였다.
• DGD가 일부 경우에 더 시각적으로 우수한 위치 추정치를 생성하더라도, ADMM-1과 ADMM-10은 DGD 및 ADPM보다 훨씬 더 우수한 목적 함수 값을 달성하였다.
• ADMM의 이중 변수는 시간이 지남에 따라 수렴함을 확인하였으며, 이는 이중 수렴이 알고리즘 수렴과 연결됨을 보여주는 Proposition 3의 이론적 주장에 뒷받침된다.