[논문 리뷰] Inexact alternating direction multiplier methods for separable convex optimization

William W. Hager, Hongchao Zhang|arXiv (Cornell University)|2016. 04. 08.

Sparse and Compressive Sensing Techniques참고 문헌 32인용 수 7

한 줄 요약

이 논문은 선형 제약 조건과 복합 목적함수를 가진 분리 가능한 볼록 최적화 문제를 해결하기 위해 일반화된, 다단계의, 가속화된 BOSVS를 포함한 비정확한 상호작용 다중 승수 방법(ADMM) 변종을 제안한다. 선형화된 하위문제, 후행 대체, 그리고 경사도 또는 가속화된 경사도 기법을 이용한 적응형 오차 제어를 결합함으로써, 정확한 하위문제 해가 계산적으로 금기인 경우에도 전역 수렴을 달성하면서 하위문제에 대해 저비용의 비정확한 해를 允허함으로써 영상 복원 작업에서 효율성이 크게 향상된다.

ABSTRACT

Inexact alternating direction multiplier methods (ADMMs) are developed for solving general separable convex optimization problems with a linear constraint and with an objective that is the sum of smooth and nonsmooth terms. The approach involves linearized subproblems, a back substitution step, and either gradient or accelerated gradient techniques. Global convergence is established. The methods are particularly useful when the ADMM subproblems do not have closed form solution or when the solution of the subproblems is expensive. Numerical experiments based on image reconstruction problems show the effectiveness of the proposed methods.

연구 동기 및 목표

• 정확한 하위문제 해가 존재하지 않거나 계산 비용이 매우 높은 경우 정확한 ADMM의 계산 비효율성을 해결하기 위해.
• 2블록 변수 스텝 크기 BOSVS 프레임워크를 전역 수렴 보장이 있는 다블록 문제로 확장하기 위해.
• 정확한 해를 유지하면서도 하위문제 해의 정확도를 적응적으로 조절하여 계산 비용을 줄이는 비정확한 ADMM 변종을 개발하기 위해.
• 선형화, 후행 대체, 그리고 가속화된 경사도 기법을 융합하여 영상 복원 성능을 향상시키기 위해.

제안 방법

• 다블록 ADMM 프레임워크에 후행 대체를 도입하여 보조 수열을 생성함으로써, 이전에는 수렴하지 않을 수 있는 다블록 ADMM의 안정성을 확보한다.
• 복잡한 하위문제를 정확히 풀지 않고도 효율적인 계산을 가능하게 하기 위해 선형화된 증강 라그랑주 하위문제를 사용한다.
• 합계 가능한 오차 수열과 경사도 또는 하위경사도 변화에 기반한 적응형 정지 기준을 이용한 비정확한 해법을 적용한다.
• BOSVS에서 영감을 얻은 변수 스텝 크기 전략을 사용하며, 다단계 및 가속화 변종은 하위문제 반복에 대해 각각 $O(1/l)$ 및 $O(1/l^2)$ 수렴 속도를 달성한다.
• 수렴성과 안정성을 향상시키기 위해 비정상적 프록시멀 항과 적응형 파rameter를 통합한다.
• 전역 수렴을 보장하기 위해 다이나믹 오차 허용 범위를 갖는 백트래킹 선 탐색을 적용한다.

실험 결과

연구 질문

• RQ1 후행 대체를 통한 비정확한 ADMM가 다블록 분리 가능한 볼록 최적화 문제에 대해 전역 수렴을 달성할 수 있는가?
• RQ2 하위문제 해법에서 적응형 오차 제어는 정확한 방법과 비교해 수렴성과 계산 효율성에 어떤 영향을 미치는가?
• RQ3 단일 반복, 다단계, 또는 가속화 전략을 사용한 하위문제 해법의 차이가 전체 알고리즘 성능에 미치는 영향는 어떠한가?
• RQ4 정확한 ADMM보다 비정확한 해법을 사용하는 선형화된 하위문제가, 불안정하거나 대규모 시스템에서 영상 복원 작업에서 더 우수한 성능을 내는가?
• RQ5 변수 스텝 크기와 적응형 오차 허용 범위는 다블록 ADMM의 수렴 속도와 강인성에 어떤 영향을 미치는가?

주요 결과

• 가속화된 BOSVS 변종이 가장 빠른 수렴 속도를 보이며, 정확한 ADMM 및 다른 비정확한 변종보다 영상 복원 작업에서 뛰어난 성능을 보였다.
• 부분 병렬 영상 촬영과 같은 불안정하고 대규모 문제에서는, 특히 초기 반복에서 정확한 알고리즘보다 가속화된 BOSVS가 훨씬 빠른 성능을 보였다.
• 하위문제를 쉽게 풀 수 있는 문제(예: 영상 왜곡 제거)에서는 일반화된 BOSVS가 정확한 방법 및 다단계 방법보다 느렸지만, 다단계 및 가속화된 BOSVS는 여전히 정확한 방법을 능가했다.
• 다단계 및 가속화된 BOSVS 방법은 각각 하위문제 반복에 대해 $O(1/l)$ 및 $O(1/l^2)$ 수렴 속도를 달성하여 전체 수렴 속도가 빨라졌다.
• 제안된 비정확성 기준과 후행 대체 메커니즘 하에서, 모든 세 가지 비정확한 ADMM 변종에 대해 전역 수렴이 엄밀히 입증되었다.
• 수치 실험을 통해 비정확한 방법이 적응형 오차 제어를 통해 정확성을 유지하면서도, 하위문제 계산 비용이 높은 경우에 특히 CPU 시간을 줄이는 데 성공했다.