[논문 리뷰] Splitting the Smoothed Primal-Dual Gap: Optimal Alternating Direction Methods

Quoc Tran Dinh, Volkan Cevher|arXiv (Cornell University)|2015. 07. 14.

Sparse and Compressive Sensing Techniques참고 문헌 48인용 수 5

한 줄 요약

이 논문은 제약 조건이 있는 볼록 최적화를 위한 새로운 분할 갭 감소(SGR) 기법을 소개한다. 이 기법은 페널티 파라미터 조정 없이도 교차 방법에서 최적 수렴 속도를 달성할 수 있도록 한다. 원형 템플릿의 분할 구조를 활용하여 SGR는 전진-뒤로 및 Douglas-Rachford 분할을 통해 부드럽게 처리된 원시-이중 갭 분석을 확장하며, 동시에 원시-이중 및 부드러움 파라미터를 갱신함으로써 최적 수렴 속도를 달성한다.

ABSTRACT

We develop rigorous alternating direction optimization methods for a prototype constrained convex optimization template, which has broad applications in computational sciences. We build upon our earlier work on the model-based gap reduction (MGR) technique, which revolves around a smoothed estimate of the primal-dual gap. MGR allows us to simultaneously update a sequence of primal and dual variables as well as primal and dual smoothness parameters so that the smoothed gap function converges to the true gap, which in turn converges to zero -- both at optimal rates. In contrast, this paper introduces a new split-gap reduction (SGR) technique as a natural counterpart of MGR in order to take advantage of additional splitting structures present in the prototype template. We illustrate SGR technique using the forward-backward and Douglas-Rachford splittings on the smoothed gap function and derive new alternating direction methods. The new methods obtain optimal convergence rates without heuristics and eliminate the infamous penalty parameter tuning issue in the existing alternating direction methods. Finally, we verify the performance of our methods in comparison to the existing state-of-the-art and the new theoretical performance bounds via numerical examples.

연구 동기 및 목표

• 교차 방법을 통한 볼록 최적화에서 페널티 파라미터 조정 문제를 해결하기 위해.
• 최적화 템플릿의 구조적 분해를 활용하는 새로운 분할 기반 갭 감소 기법을 개발하기 위해.
• 부드러운 원시-이중 갭 프레임워크를 확장하여 히우리스틱을 사용하지 않고 최적 수렴 속도를 달성하기 위해.
• 개선된 안정성과 성능을 보장하는 제약 조건이 있는 볼록 최적화를 위한 엄밀하고 수렴 속도 최적의 방법을 제공하기 위해.

제안 방법

• 모델 기반 갭 감소(MGR) 프레임워크의 자연스러운 연장선으로서 분할 갭 감소(SGR) 기법을 제안한다.
• 전진-뒤로 및 Douglas-Rachford 분할을 부드러운 원시-이중 갭 함수에 적용하여 구조적 최적화를 가능하게 한다.
• 원시 및 이중 변수와 동시에 원시 및 이중 부드러움 파라미터를 갱신하여 부드러운 갭이 최적 속도로 0에 수렴하도록 한다.
• 원시-이중 갭의 부드러운 추정치를 사용하여 페널티 파rameter 없이 안정적이고 적응적인 수렴을 가능하게 한다.
• 이론적 수렴 보장을 갖는 갭 최소화에 기반한 새로운 교차 방법을 유도한다.
• 분할 구조를 갭 감소 과정에 통합하여 알고리즘 효율성과 수렴 행동을 향상시킨다.

실험 결과

연구 질문

• RQ1 분할 구조를 활용하여 교차 방법의 수렴을 향상시키는 새로운 갭 감소 기법을 개발할 수 있는가?
• RQ2 히우리스틱 페널티 파라미터 조정에 의존하지 않고 최적 수렴 속도를 달성할 수 있는가?
• RQ3 부드러운 원시-이중 갭 프레임워크를 전진-뒤로 및 Douglas-Rachford 방식을 통한 구조적 분할을 지원하도록 확장할 수 있는가?
• RQ4 기존 방법들과 비교해 볼 때, 새로운 SGR 기반 방법의 이론적 수렴 행동은 어떠한가?

주요 결과

• 제안된 SGR 기반 교차 방법은 페널티 파라미터 조정 없이도 최적 수렴 속도를 달성한다.
• 이 방법은 전통적 ADMM 변형에서 주요 제한 사항이었던 히우리스틱적 파라미터 선택이 필요 없음을 성공적으로 제거한다.
• 수치 예제는 최첨단 방법들과 비교해 뛰어난 성능을 보이며 이론적 수렴 한계를 검증한다.
• 원시 및 이중 변수와 부드러움 파라미터를 동시에 갱신함으로써 부드러운 갭이 최적 속도로 0에 수렴함을 보장한다.
• SGR 기법은 최적화 템플릿 내 추가적인 분할 구조를 활용함으로써 MGR에 자연스러운 대응을 제공한다.