[論文レビュー] Inertial primal-dual algorithms for structured convex optimization

Raymond H. Chan, Shiqian Ma+1 more|arXiv (Cornell University)|Sep 10, 2014

Sparse and Compressive Sensing Techniques参考文献 42被引用数 8

ひとこと要約

本稿では、Chambolle-Pockのプライマルデュアルアルゴリズム（CPA）に外挿ステップを組み込んだ構造的凸最適化のための慣性プライマルデュアルアルゴリズム（iCPAs）を提案する。CPAが適切な初期化のもとで線形化ADMM（LADMM）と同等であることを確立し、非漸近的 $O(1/k)$ および漸近的 $o(1/k)$ の収束速度を証明した。全変動に基づく画像再構成における実験結果から、計算コストを増加させることなく収束を加速できることを示した。

ABSTRACT

The primal-dual algorithm recently proposed by Chambolle & Pock (abbreviated as CPA) for structured convex optimization is very efficient and popular. It was shown by Chambolle & Pock in \cite{CP11} and also by Shefi & Teboulle in \cite{ST14} that CPA and variants are closely related to preconditioned versions of the popular alternating direction method of multipliers (abbreviated as ADM). In this paper, we further clarify this connection and show that CPAs generate exactly the same sequence of points with the so-called linearized ADM (abbreviated as LADM) applied to either the primal problem or its Lagrangian dual, depending on different updating orders of the primal and the dual variables in CPAs, as long as the initial points for the LADM are properly chosen. The dependence on initial points for LADM can be relaxed by focusing on cyclically equivalent forms of the algorithms. Furthermore, by utilizing the fact that CPAs are applications of a general weighted proximal point method to the mixed variational inequality formulation of the KKT system, where the weighting matrix is positive definite under a parameter condition, we are able to propose and analyze inertial variants of CPAs. Under certain conditions, global point-convergence, nonasymptotic $O(1/k)$ and asymptotic $o(1/k)$ convergence rate of the proposed inertial CPAs can be guaranteed, where $k$ denotes the iteration index. Finally, we demonstrate the profits gained by introducing the inertial extrapolation step via experimental results on compressive image reconstruction based on total variation minimization.

研究の動機と目的

• 構造的凸最適化問題を解く際、プライマルデュアルアルゴリズム（CPA）と線形化ADMM（LADM）の間の同等性を明確にすること。
• KKT系に重み付き近接点反復法を適用することで、CPAの慣性版を構築すること。
• 提案された慣性CPAのグローバル収束を確立し、非漸近的 $O(1/k)$ および漸近的 $o(1/k)$ の収束速度を示すこと。
• 慣性外挿が、画像再構成タスクにおける収束加速に実用的に効果をもたらすことを示すこと。
• 慣性パラメータの影響を調査し、安定的かつ効率的な性能を実現するための戦略を提案すること。

提案手法

• KKT系から導かれる混合変分不等式としてプライマルデュアル問題を定式化する。
• パrameter条件の下で正定値重み行列を用いた一般化された重み付き近接点反復法（PPM）をKKT系に適用する。
• 非減少かつ $1/3$ 以下に上界をもつ列 $\alpha_k$ を用いて、CPAフレームワークに慣性外挿ステップを導入する。
• 初期点選択への依存を軽減するため、アルゴリズムの循環的同等形を導出する。
• プライマルおよびデュアル関数の近接作用素の効率的計算を保証するため、モアレの分解を用いる。
• 線形化ADMMの定式化をデュアル解釈として採用し、適切な初期化のもとで逐次的同等性を示す。

実験結果

リサーチクエスチョン

• RQ1 構造的凸最適化問題を解く際、Chambolle-Pockのプライマルデュアルアルゴリズムと線形化ADMMの関係は何か？
• RQ2 収束を保ちながら、慣性外挿をプライマルデュアルアルゴリズムに体系的に組み込むことは可能か？
• RQ3 特定のパrameter条件のもとで、慣性プライマルデュアルアルゴリズムに保証できる収束速度は何か？
• RQ4 慣性ステップは、全変動に基づく画像再構成のような実用的応用において、性能をどのように向上させるか？
• RQ5 安定性と加速を確保するための、慣性パラメータ $\alpha_k$ の最適な選択戦略は何か？

主な発見

• 適切な初期点が選ばれた場合、Chambolle-Pockのプライマルデュアルアルゴリズム（CPA）と線形化ADMM（LADM）は同一の反復点を生成する。これは強い同等性を示している。
• 慣性プライマルデュアルアルゴリズム（iCPA）は、$0 \leq \alpha_k \leq \alpha_{k+1} \leq \alpha < 1/3$ の条件下でグローバル点収束を達成する。
• 提案されたiCPAは、非漸近的収束速度 $O(1/k)$ および漸近的収束速度 $o(1/k)$ を達成しており、これは慣性法において新たな結果である。
• 全変動最小化を用いた画像再構成のための圧縮測定において、iCPAは標準CPAよりも収束に必要な反復回数を削減する。
• $\varepsilon = 10^{-4}$ の場合、精度許容誤差が厳しくなるにつれ、平均反復回数は数10回から約1,000回に増加したが、iCPAは常にCPAを上回る性能を示した。
• 一定の慣性パラメータ（例：$\alpha = 0.35$）はより良い性能をもたらすが、$0.3$ を超える値は、測定回数が少ない場合に不安定化を引き起こす可能性がある。