[논문 리뷰] Chambolle-Pock and Tseng's methods: relationship and extension to the bilevel optimization

Yura Malitsky|arXiv (Cornell University)|2017. 06. 08.

Sparse and Compressive Sensing Techniques참고 문헌 8인용 수 6

한 줄 요약

이 논문은 정규화된 최소 제곱법과 애핀 부분공간에서의 비미분 최소화 문제에 대해 Chambolle-Pock의 원시-이중 방법과 Tseng의 프락시멀 경사법 사이의 이론적 연결을 수립한다. 비에르고딕 O(1/k²) 수렴 속도를 도출하고, 이 프레임워크를 이중 복합 최적화로 확장하여 강한 볼록성 가정 없이 수렴성을 증명한다.

ABSTRACT

In the first part of the paper we focus on two problems: (a) regularized least squares and (b) nonsmooth minimization over an affine subspace. For these problems we establish the connection between the primal-dual method of Chambolle-Pock and Tseng's proximal gradient method. For problem (a) it allows us to derive a nonergodic $O(1/k^2)$ convergence rate of the objective function for the primal-dual method. For problem (b) we show that the primal-dual method converges even when the duality does not hold or when the linear system is inconsistent. We also obtain new convergence rates which are more suitable in practice. In the second part, using the established connection, we develop a novel method for the bilevel composite optimization problem. We prove its convergence without the assumption of strong convexity which is typical for many existing methods.

연구 동기 및 목표

• Chambolle-Pock의 원시-이중 방법과 Tseng의 프락시멀 경사법 사이의 이론적 연결을 수립한다.
• Chambolle-Pock 방법을 사용하여 정규화된 최소 제곱법에 대해 비에르고딕 O(1/k²) 수렴 속도를 도출한다.
• 이중성 조건이 성립하지 않거나 선형 시스템이 일致하지 않을 경우에도 Chambolle-Pock 방법의 수렴성을 증명한다.
• 프레임워크를 이중 복합 최적화로 확장하고, 강한 볼록성 가정 없이도 수렴성을 증명한다.

제안 방법

• 논문은 이중성 분석을 통해 Chambolle-Pock의 원시-이중 방법과 Tseng의 프락시멀 경사법을 연결한다.
• 정규화된 최소 제곱법과 애핀 부분공간에서의 비미분 최소화 문제들을 원칙적으로 분석 가능한 구조적 최적화 문제로 공식화한다.
• 이 연결 덕분에 정규화된 최소 제곱법의 목적 함수에 대해 비에르고딕 O(1/k²) 수렴 속도를 도출할 수 있다.
• 비미분 최소화 문제에 대해서는, 이중성 갭이 존재하거나 시스템이 일치하지 않을 경우에도 방법이 수렴함을 보여준다.
• 설립된 연결을 활용하여 이중 복합 최적화를 위한 새로운 알고리즘을 설계한다.
• 일般적인 조건 하에서 수렴성이 증명되며, 일반적으로 요구되는 강한 볼록성 가정을 피한다.

실험 결과

연구 질문

• RQ1 정규화된 최소 제곱법과 애핀 부분공간 최소화의 맥락에서 Chambolle-Pock의 원시-이중 방법과 Tseng의 프락시멀 경사법은 어떻게 관련되어 있는가?
• RQ2 Chambolle-Pock 방법은 정규화된 최소 제곱법에서 비에르고딕 O(1/k²) 수렴 속도를 달성할 수 있는가?
• RQ3 이중성이 성립하지 않거나 선형 시스템이 일치하지 않을 경우, Chambolle-Pock 방법이 수렴하는 조건은 무엇인가?
• RQ4 두 방법 간의 연결을 이중 복합 최적화 문제 해결으로 확장할 수 있는가?
• RQ5 강한 볼록성 가정 없이도 제안된 이중 최적화 방법의 수렴이 가능한가?

주요 결과

• Chambolle-Pock 방법은 정규화된 최소 제곱법에서 목적 함수에 대해 비에르고딕 O(1/k²) 수렴 속도를 달성하며, 이는 에르고딕 속도보다 향상된 결과이다.
• 이중성이 성립하지 않거나 선형 시스템이 일치하지 않을 경우에도 Chambolle-Pock 방법이 수렴함을 보여, 적용 범위가 넓어진다.
• 비미분 최소화 문제의 실용적 구현에 더 적합한 새로운 수렴 속도가 유도되었다.
• Chambolle-Pock와 Tseng의 방법 간의 연결을 통해 이중 복합 최적화를 위한 새로운 알고리즘이 설계될 수 있다.
• 제안된 이중 최적화 방법은 강한 볼록성 가정 없이도 수렴성을 보이며, 이는 기존 접근 대비 상당한 조건 완화이다.
• 이론적 프레임워크는 구조적 최적화 문제의 표준적 및 불안정한 경우를 모두 통합적으로 분석할 수 있도록 한다.