[論文レビュー] Chambolle-Pock and Tseng's methods: relationship and extension to the bilevel optimization

Yura Malitsky|arXiv (Cornell University)|Jun 8, 2017

Sparse and Compressive Sensing Techniques参考文献 8被引用数 6

ひとこと要約

本稿は、正則化最小二乗法およびアフィン部分空間上での滑らかでない最小化問題に対するChambolle-Pockのプライマル・デュアル法とTsengのプロキシマル勾配法の理論的関係を確立する。非エルゴディックなO(1/k²)収束レートを導出し、バイレベル複合最適化へと枠組みを拡張し、強い凸性の仮定なしに収束を証明する。

ABSTRACT

In the first part of the paper we focus on two problems: (a) regularized least squares and (b) nonsmooth minimization over an affine subspace. For these problems we establish the connection between the primal-dual method of Chambolle-Pock and Tseng's proximal gradient method. For problem (a) it allows us to derive a nonergodic $O(1/k^2)$ convergence rate of the objective function for the primal-dual method. For problem (b) we show that the primal-dual method converges even when the duality does not hold or when the linear system is inconsistent. We also obtain new convergence rates which are more suitable in practice. In the second part, using the established connection, we develop a novel method for the bilevel composite optimization problem. We prove its convergence without the assumption of strong convexity which is typical for many existing methods.

研究の動機と目的

• Chambolle-Pockのプライマル・デュアル法とTsengのプロキシマル勾配法の理論的関係を確立すること。
• Chambolle-Pock法を用いて正則化最小二乗法の非エルゴディックなO(1/k²)収束レートを導出すること。
• 双対性が成立しない場合や線形方程式系が一貫しない場合でも、Chambolle-Pock法の収束を証明すること。
• 枠組みをバイレベル複合最適化へと拡張し、強い凸性の仮定なしに収束を証明すること。

提案手法

• 本稿は双対性解析を用いて、Chambolle-Pockのプライマル・デュアル法とTsengのプロキシマル勾配法を結びつける。
• 正則化最小二乗法およびアフィン部分空間上での滑らかでない最小化問題を、プライマル・デュアル解析に適した構造的最適化問題として定式化する。
• この関係により、正則化最小二乗法の文脈で目的関数に対する非エルゴディックなO(1/k²)収束レートを導出できる。
• 滑らかでない最小化の文脈では、双対ギャップが存在する場合や方程式系が一貫しない場合でも、手法が収束することが示される。
• 確立された関係を活用して、バイレベル複合最適化のための新しいアルゴリズムを設計する。
• 通常の強い凸性の仮定を避けながら、一般条件のもとで収束を証明する。

実験結果

リサーチクエスチョン

• RQ1 正則化最小二乗法およびアフィン部分空間上での最小化の文脈において、Chambolle-Pockのプライマル・デュアル法とTsengのプロキシマル勾配法はどのように関係しているか？
• RQ2 Chambolle-Pock法は、正則化最小二乗法において非エルゴディックなO(1/k²)収束を達成できるか？
• RQ3 双対性が成立しない場合や線形方程式系が一貫しない場合、Chambolle-Pock法が収束する条件は何か？
• RQ4 2つの手法の関係をバイレベル複合最適化問題の解法へと拡張できるか？
• RQ5 強い凸性の仮定なしに、提案されたバイレベル手法の収束は可能か？

主な発見

• Chambolle-Pock法は、正則化最小二乗法において、目的関数に対して非エルゴディックなO(1/k²)収束率を達成し、エルゴディックレートを上回る。
• 双対性が成立しない場合や方程式系が一貫しない場合でも、Chambolle-Pock法は収束するため、適用範囲が広がる。
• 滑らかでない最小化の実装に適した、より実用的な新しい収束レートが導出された。
• Chambolle-Pock法とTsengの手法の関係を活用して、バイレベル複合最適化のための新しいアルゴリズムが設計可能である。
• 提案されたバイレベル手法は、強い凸性の仮定なしに収束するため、従来の手法と比べて顕著な緩和である。
• 理論的枠組みにより、標準的および不適切に定義された構造的最適化問題の両者を統一的に分析可能である。