[논문 리뷰] Extending the ergodic convergence rate of the proximal ADMM

Max L. N. Gonçalves, Jefferson G. Melo외 1명|arXiv (Cornell University)|2016. 11. 09.

Optimization and Variational Analysis참고 문헌 28인용 수 5

한 줄 요약

이 논문은 기존 문헌에서 아직 입증되지 않은 단계 크기 $\theta = (1 + \sqrt{5})/2$를 포함하도록 프록시멀 ADMM의 에르고딕 반복 복잡도 분석을 확장한다. 저자들은 프록시멀 ADMM가 비유클리드 하이브리드 프록시멀 은선적 방법(NE-HPE) 프레임워크의 한 예임을 보여줌으로써, $\theta \in (0, (1 + \sqrt{5})/2]$ 범위에서 새로운 점별 및 에르고딕 수렴 속도를 도출한다. 이는 이 중요한 단계 크기 값에 대해 더 날카로운 복잡도 상한을 제공한다.

ABSTRACT

Pointwise and ergodic iteration-complexity results for the proximal alternating direction method of multipliers (ADMM) for any stepsize in(0,(1+\sqrt{5})/2) have been recently established in the literature. In addition to giving alternative proofs of these results, this paper also extends the ergodic iteration-complexity result to include the case in which the stepsize is equal to (1+\sqrt{5})/$. As far as we know, this is the first ergodic iteration-complexity for the stepsize (1+\sqrt{5})/2 obtained in the ADMM literature. These results are obtained by showing that the proximal ADMM is an instance of a non-Euclidean hybrid proximal extragradient framework whose pointwise and ergodic convergence rate are also studied.

연구 동기 및 목표

• 기존 문헌에서 아직 입증되지 않은 단계 크기 $\theta = (1 + \sqrt{5})/2$를 포함하도록 프록시멀 ADMM의 에르고딕 반복 복잡도 결과를 확장하는 것.
• 비유클리드 하이브리드 프록시멀 은선적 방법(NE-HPE) 프레임워크를 사용하여 프록시멀 ADMM의 수렴 속도 분석을 대체로 제공하는 것.
• 최적 값인 $\theta = (1 + \sqrt{5})/2$를 포함한 더 넓은 단계 크기 범위에서 프록시멀 ADMM의 점별 및 에르고딕 반복 복잡도 경계를 설정하는 것.
• 브레그만 거리와 함께 사용되는 비유클리드 하이브리드 프록시멀 은선적 방법(NE-HPE) 프레임워크에 프록시멀 ADMM를 통합함으로써 기존 수렴 결과를 통합하고 일반화하는 것.

제안 방법

• 브레그만 거리와 상대 오차 기준을 사용하여 프록시멀 ADMM를 비유클리드 하이브리드 프록시멀 은선적 방법(NE-HPE) 프레임워크의 한 예로 재구성한다.
• 상대 오차 조건에 기반한 새로운 종료 기준을 도입하여, 에르고딕 반복 수열에 대한 더 날카로운 수렴 분석을 가능하게 한다.
• 이중성 갭을 유계로 유지하기 위해 $(1,1)$-정규 거리 생성 함수와 관련된 브레그만 거리의 성질을 활용한 수렴 분석를 수행한다.
• 오차 항을 제어하기 위해 코시-슈바르츠 부등식과 $2ab \leq a^2 + b^2$ 항등식을 사용하여 핵심 부등식을 유도한다.
• 에르고딕 수렴 속도는 평균화된 반복값 $z_k^a$를 통해 확립되며, 오차 경계는 초기 이중성 갭 $d_0$와 잔차 항 $\eta_0$에 의존한다.
• 프록시멀 ADMM가 NE-HPE 프레임워크의 포함 조건과 오차 허용 기준을 만족함을 보여줌으로써 분석의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 프록시멀 ADMM의 에르고딕 반복 복잡도는 기존에 입증되지 않은 단계 크기 $\theta = (1 + \sqrt{5})/2$를 포함하도록 확장될 수 있는가?
• RQ2 비유클리드 HPE 프레임워크는 이전 접근 방식에 비해 프록시멀 ADMM의 더 날카로운 수렴 속도 상한을 어떻게 달성하는가?
• RQ3 브레그만 거리와 상대 오차 기준은 프록시멀 ADMM의 향상된 수렴 복잡도 달성에 어떤 역할을 하는가?
• RQ4 통합 프레임워크를 사용하여 $\theta \in (0, (1 + \sqrt{5})/2]$ 범위의 프록시멀 ADMM에 대해 점별 및 에르고딕 수렴 속도를 유도할 수 있는가?

주요 결과

• 기존 문헌에서 이 단계 크기의 경우 처음으로 입증된 바와 같이, 프록시멀 ADMM의 에르고딕 반복 복잡도는 $\theta = (1 + \sqrt{5})/2$를 포함하도록 확장되었다.
• 에르고딕 하위최적성 갭은 모든 $k \geq 1$에 대해 $\varepsilon_k^a \leq \frac{3[3\theta^2(d_0 + \eta_0) + 4\sigma_\theta(1 + \tau_\theta)(\theta^2 + \theta + 1)d_0]}{\theta^2 k}$ 를 만족하며, 여기서 $d_0$는 초기 이중성 갭이다.
• 에르고딕 반복의 노름은 $\|(r_k^a)^*\| \leq \frac{2\sqrt{2(d_0 + \eta_0)}}{k}$ 를 만족하여, 이는 에르고딕 반복에 대해 $O(1/k)$ 수렴 속도임을 나타낸다.
• 프록시멀 ADMM가 NE-HPE 프레임워크의 한 예임을 공식적으로 입증함으로써, 다양한 ADMM 변종에 대한 통합된 수렴 분석이 가능해졌다.
• 기존 문헌에서의 수렴 결과에 대해 대체 증명을 제공하였으며, 특히 $\theta \in (0, (1 + \sqrt{5})/2)$ 범위에서의 결과에 대해 유의미한 기여를 하였다.
• 이 프레임워크는 일반적인 양의 정부호 프록시멀 항 $H$와 $G$를 허용하여, 더 넓은 범위의 볼록 최적화 문제에 적용 가능성을 확장한다.