[論文レビュー] A new primal-dual algorithm for minimizing the sum of three functions with a linear operator

Ming Yan|arXiv (Cornell University)|Nov 29, 2016

Sparse and Compressive Sensing Techniques参考文献 31被引用数 5

ひとこと要約

本稿では、線形作用素を含む3つの凸関数の和を最小化するための新しいプライマル・デュアル法PD3Oを提案する。Chambolle-Pock や PAPC などの既存手法を拡張し、O(1/k) のエゴイスト的収束レートを達成するとともに、収束パrameterの範囲を拡大し、1反復あたりの計算コストを低減した。Fused lasso や画像再構成問題における数値実験により有効性が検証された。

ABSTRACT

In this paper, we propose a new primal-dual algorithm for minimizing $f(x) + g(x) + h(Ax)$, where $f$, $g$, and $h$ are proper lower semi-continuous convex functions, $f$ is differentiable with a Lipschitz continuous gradient, and $A$ is a bounded linear operator. The proposed algorithm has some famous primal-dual algorithms for minimizing the sum of two functions as special cases. E.g., it reduces to the Chambolle-Pock algorithm when $f = 0$ and the proximal alternating predictor-corrector when $g = 0$. For the general convex case, we prove the convergence of this new algorithm in terms of the distance to a fixed point by showing that the iteration is a nonexpansive operator. In addition, we prove the $O(1/k)$ ergodic convergence rate in the primal-dual gap. With additional assumptions, we derive the linear convergence rate in terms of the distance to the fixed point. Comparing to other primal-dual algorithms for solving the same problem, this algorithm extends the range of acceptable parameters to ensure its convergence and has a smaller per-iteration cost. The numerical experiments show the efficiency of this algorithm.

研究の動機と目的

• 線形作用素を含む3つの凸関数の和を最小化する新しいプライマル・デュアル法の開発。既存の2関数法を一般化することを目的とする。
• 既存の3作用素プライマル・デュアル法と比較して、収束を保証するパrameterの範囲を拡大すること。
• 収束保証を維持したまま、1反復あたりの計算コストを低減すること。
• 一般凸ケースにおいて、プライマル・デュアルギャップのO(1/k) のエゴイスト的収束レートを達成すること。
• Fused lasso および画像修復問題への応用を通じて、アルゴリズムの効率性とロバスト性を実証すること。

提案手法

• 非拡大作用素への固定点反復に基づく導出により、単調作用素理論を用いて収束を保証する。
• 3つのプロキシマルマッピングを組み込む：f（リプシッツ勾配を有する微分可能関数）、g（プロキシマル）、h（プロキシマル）、線形作用素Aがxに作用する。
• プライマル・デュアル分割スキームを採用し、プライマル変数とデュアル変数を交互に更新。緩和パrameterを組み込む。
• f=0 の場合、Chambolle-Pock に簡約され、g=0 の場合、PAPC に簡約されるため、両者を一般化していることが示される。
• 行列の逆行列計算を避けることで、高価な計算を回避し、効率的なプロキシマル計算を活用することで、1反復あたりの計算コストを低減。
• 収束解析は、反復が非拡大作用素であることを証明することに依拠し、追加の仮定のもとで線形収束を確立する。

実験結果

リサーチクエスチョン

• RQ1 線形作用素を含む3つの凸関数の和を最小化する新しいプライマル・デュアル法を設計可能か。また、既存の2関数法を拡張可能か。
• RQ2 このような3作用素プライマル・デュアルスキームの収束を保証するパrameterの範囲は何か。
• RQ3 新アルゴリズムの1反復あたりの計算コストは、既存の3作用素プライマル・デュアル法と比較してどの程度か。
• RQ4 一般凸ケースにおいて、新アルゴリズムが達成可能な収束レートは何か。
• RQ5 Fused lasso や複数の正則化を伴う画像修復問題のような実世界の問題に、アルゴリズムを効率的に適用可能か。

主な発見

• 提案されたPD3Oアルゴリズムは、一般凸ケースにおいてプライマル・デュアルギャップのO(1/k) のエゴイスト的収束レートを達成した。
• Condat-Vu や AFBA、PDFP といった既存手法と比較して、より広いパrameter範囲で収束を保証した。
• PDFP よりも1反復あたりの計算コストが低く、追加のプロキシマルマッピングを回避することで達成された。
• 数値実験により、Condat-Vu や AFBA、PDFP よりもPD3Oが高速に収束することが示された。特に、ステップサイズを大きくした場合に顕著であった。
• λ を 1/8 から 1/4 に増加させたが、収束性能は向上せず、約2000反復後には性能が劣化した。これはパrameter選択におけるトレードオフを示唆する。
• A=I かつ特定のパrameterが選ばれた場合、アルゴリズムはDavis-Yinの3作用素分割法に簡約される。これにより、既知の手法と整合性があることが確認された。