[논문 리뷰] On the non-ergodic convergence rate of an inexact augmented Lagrangian framework for composite convex programming

Ya‐Feng Liu, Xin Liu외 1명|arXiv (Cornell University)|2016. 03. 18.

Sparse and Compressive Sensing Techniques참고 문헌 18인용 수 3

한 줄 요약

이 논문은 선형 제약 조건을 가진 복합 볼록 최적화를 위한 비정확 보조 라그랑주(IAL) 프레임워크를 제안한다. 여기서 보조 라그랑주 보조문제는 더 약한 정지 기준을 사용하여 근사적으로 해결된다. 전역 수렴성과 비에르고딕 수렴 속도 보장을 확립하며, 정확한 방법에 비해 더 빠른 CPU 성능과 더 뛰어난 희소성 솔루션을 보여준다.

ABSTRACT

In this paper, we consider the linearly constrained composite convex optimization problem, whose objective is a sum of a smooth function and a possibly nonsmooth function. We propose an inexact augmented Lagrangian (IAL) framework for solving the problem. The stopping criterion used in solving the augmented Lagrangian (AL) subproblem in the proposed IAL framework is weaker and potentially much easier to check than the one used in most of the existing IAL frameworks/methods. We analyze the global convergence and the non-ergodic convergence rate of the proposed IAL framework.

연구 동기 및 목표

• 복합 볼록 최적화에서 보조 라그랑주 보조문제를 해결하기 위한 더 약한 정지 기준을 允허하는 비정확 보조 라그랑주(IAL) 프레임워크를 개발하는 것.
• 비정확 보조문제 해를 가정할 때, 제안된 IAL 프레임워크의 전역 수렴성과 비에르고딕 수렴 속도를 확립하는 것.
• 비에르고딕 해 경로가 에르고딕 해 경로와 비교하여 실용적 효율성과 희소성 유지 특성을 어떻게 보여주는지 설명하는 것.
• 기저 추적 문제에 대한 수치 결과를 통해 비에르고딕 수렴 속도 분석의 중요성을 정당화하는 것.

제안 방법

• IAL 프레임워크는 보조 라그랑주 보조문제를 근사적으로 해결하며, 하위최적성 간격에 기반한 정지 기준을 사용한다: $\mathcal{L}_{\beta}(x^{k+1};\lambda^k) - \mathcal{L}_{\beta}(x(\lambda^k);\lambda^k) \leq \eta_k^2$, 이는 표준 기준보다 더 약한 조건이다.
• 이중 변수는 $\lambda^{k+1} = \lambda^k + \beta(Ax(\lambda^k) - b)$ 방식으로 갱신되며, 보조 라그랑주 이중 함수에 대한 이중 경사하강법을 모방한다.
• 수렴 분석은 수열 $\{\eta_k\}$ 가 합산 가능하다는 가정 하에 수행되며, 이는 반복값의 전역 수렴성을 보장한다.
• 비에르고딕 수렴 속도는 원자변수와 이중 비가역성에 대해 유도되며, 평균화되지 않은 수렴 보장을 제공한다.
• 이 프레임워크는 비연속 항 $g(x)$ 가 볼록 집합의 지시 함수인 기저 추적 문제에 적용되며, 희소 복구를 모델링한다.
• 수치 실험은 IAL 프레임워크를 정확한 보조 라그랑주(EAL) 방법과 비교하며, 희소성, 목적함수 오차, 잔차, CPU 시간을 측정한다.

실험 결과

연구 질문

• RQ1 더 약한 정지 기준을 가진 비정확 보조 라그랑주 프레임워크가 여전히 전역 수렴성과 비에르고딕 수렴 속도를 보장할 수 있는가?
• RQ2 IAL 프레임워크의 비에르고딕 해 경로는 에르고딕 경로와 비교해 희소성과 수렴 속도 측면에서 어떻게 다른가?
• RQ3 비정확성 허용 오차 $\eta_k$ 는 전체 수렴 행동과 계산 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 IAL 프레임워크는 정확한 방법과 유사한 정확성과 희소성을 유지하면서도 더 빠른 CPU 시간을 달성하는가?

주요 결과

• 비정확성 허용 오차 $\eta_k$ 의 합산 가능한 수열 조건 하에서 IAL 프레임워크는 보조문제를 근사적으로 해결함에도 불구하고 전역 수렴성을 확보한다.
• 원자변수와 이중 비가역성에 대한 비에르고딕 수렴 속도가 확립되어 평균화되지 않은 수렴 보장을 제공한다.
• 수치 결과는 IAL 이 EAL 보다 CPU 시간 측면에서 현저히 빠르며, 평균적으로 같은 정확도에 도달하는 데 시간이 절반 이하로 소요됨을 보여준다.
• 비에르고딕 해 $\bar{x}$ 는 에르고딕 해 $x_e$ 와 비교해 훨씬 더 희소하며, 모든 테스트 사례에서 진짜 해 $x^*$ 와 정확히 일치하는 희소성 패턴을 보인다.
• 더 큰 문제들($m=1800, n=3000$)에 대해서는 IAL 이 EAL 대비 CPU 시간을 25-30% 감소시키며, 목적함수 오차와 잔차는 유사하게 유지된다.
• 특히 $k > 100$ 일 때 $\eta_k < 10^{-4}$ 이어도 IAL 이 여전히 EAL 보다 빠르며, 더 약한 정지 기준이 효율성을 손상시키지 않음을 시사한다.