[論文レビュー] A Primal-dual Three-operator Splitting Scheme

Ming Yan|arXiv (Cornell University)|Nov 29, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 2

ひとこと要約

本稿では、微分可能でリプシッツ連続な勾配をもつ項と線形変換された項を含む、3つの凸関数の和を最小化するための新規な原双対三作用素分割スキームを提案する。アルゴリズムは、原双対ギャップにおいてO(1/k)の確率的収束速度を達成し、追加の仮定のもとで線形収束を示す。既存手法と比較して、より広いパrameter受容範囲と低い1反復あたりの計算コストを有する。

ABSTRACT

In this paper, we propose a new primal-dual algorithm for minimizing $f(x) + g(x) + h(Ax)$, where $f$, $g$, and $h$ are proper lower semi-continuous convex functions, $f$ is differentiable with a Lipschitz continuous gradient, and $A$ is a bounded linear operator. The proposed algorithm has some famous primal-dual algorithms for minimizing the sum of two functions as special cases. E.g., it reduces to the Chambolle-Pock algorithm when $f = 0$ and the proximal alternating predictor-corrector when $g = 0$. For the general convex case, we prove the convergence of this new algorithm in terms of the distance to a fixed point by showing that the iteration is a nonexpansive operator. In addition, we prove the $O(1/k)$ ergodic convergence rate in the primal-dual gap. With additional assumptions, we derive the linear convergence rate in terms of the distance to the fixed point. Comparing to other primal-dual algorithms for solving the same problem, this algorithm extends the range of acceptable parameters to ensure its convergence and has a smaller per-iteration cost. The numerical experiments show the efficiency of this algorithm.

研究の動機と目的

• f(x) + g(x) + h(Ax) を最小化するための新しい原双対アルゴリズムの開発。ここで f, g, h は凸関数であり、f はリプシッツ連続な勾配をもつ。
• 既存の原双対手法と比較して、収束のための許容可能なパrameterの範囲を拡大すること。
• 収束保証を維持したまま、1反復あたりの計算コストを低減すること。
• Chambolle-Pock 法やプロキシマル交互予測補正法といったよく知られたアルゴリズムを特別な場合として統一・一般化すること。

提案手法

• f が微分可能であることと、g および h のプロキシマル作用素を活用した、3つの作用素 f, g, h(Ax) をもつ原双対前進後退分割フレームワークを採用する。
• 固定点への距離を用いた非拡大作用素の定式化を導入し、収束を固定点への距離の観点から解析する。
• f に対して明示的な勾配ステップ、g および h に対して陰的なプロキシマルステップを用いる反復的更新スキームを組み込む。
• 行列の逆行列計算を回避するように、線形作用素 A を効率的に処理する設計となっている。
• 原双対ギャップにおけるO(1/k)収束速度を達成するために、確率的平均化戦略を採用する。
• 収束解析は単調作用素理論と非拡大写像の性質に依拠する。

実験結果

リサーチクエスチョン

• RQ1 Chambolle-Pock やプロキシマル交互予測補正法といった既存の2作用素手法を一般化する統一的な原双対アルゴリズムを開発可能か？
• RQ2 一般凸ケースにおいて、提案された三作用素分割スキームの収束を保証する条件は何か？
• RQ3 特に確率的および非確率的収束の観点から、本アルゴリズムの収束速度は既存手法と比較してどうなるか？
• RQ4 アルゴリズムのパrameterが収束に与える影響は何か？また、許容可能なパrameter範囲を拡大可能か？
• RQ5 強い凸性や誤差境界といったより強い仮定のもとで、線形収束が達成されるか？

主な発見

• 提案アルゴリズムは、反復が非拡大作用素であるため、固定点への距離の観点から収束することが保証される。
• 一般凸ケースにおいて、原双対ギャップのO(1/k)確率的収束速度が証明された。
• 強い凸性や誤差境界などの追加仮定のもとで、線形収束が確立された。
• 既存の原双対手法と比較して、より広いパrameter範囲を許容可能であり、ロバストネスが向上した。
• 線形作用素 A の効率的処理のおかげで、競合アルゴリズムよりも1反復あたりの計算コストが低かった。
• 数値実験により、アルゴリズムの効率性と収束速度・ロバストネスにおける優位性が確認された。