[論文レビュー] Forward-Backward-Half Forward Algorithm with non Self-Adjoint Linear Operators for Solving Monotone Inclusions

Luis M. Briceño-Arias, Damek Davis|arXiv (Cornell University)|Mar 9, 2017

Optimization and Variational Analysis被引用数 4

ひとこと要約

本稿では、最大モノトニック、連続的モノトニック、およびコールドリック性を有する3つの作用素を含む単調包含問題を解くために、コールドリック性を活用して1反復あたりの作用素評価回数を1回に削減する、新しい前方-後方-半前方アルゴリズムを提案する。この手法により、ツェンの分割法と前方-後方分割法が統一される。さらに、非自己随伴線形作用素を用いた前処理付きバージョンを導入し、ブロック下三角構造を可能にし、既存のプリムアル-デュアル法を一般化する。

ABSTRACT

Tseng's algorithm finds a zero of the sum of a maximally monotone operator and a monotone continuous operator by evaluating the latter twice per iteration. In this paper, we modify Tseng's algorithm for finding a zero of the sum of three operators, where we add a cocoercive operator to the inclusion. Since the sum of a cocoercive and a monotone-Lipschitz operator is monotone and Lipschitz, we could use Tseng's method for solving this problem, but implementing both operators twice per iteration and without taking into advantage the cocoercivity property of one operator. Instead, in our approach, although the {continuous monotone} operator must still be evaluated twice, we exploit the cocoercivity of one operator by evaluating it only once per iteration. Moreover, when the cocoercive or {continuous-monotone} operators are zero it reduces to Tseng's or forward-backward splittings, respectively, unifying in this way both algorithms. In addition, we provide a {preconditioned} version of the proposed method including non self-adjoint linear operators in the computation of resolvents and the single-valued operators involved. This approach allows us to {also} extend previous variable metric versions of Tseng's and forward-backward methods and simplify their conditions on the underlying metrics. We also exploit the case when non self-adjoint linear operators are triangular by blocks in the primal-dual product space for solving primal-dual composite monotone inclusions, obtaining Gauss-Seidel type algorithms which generalize several primal-dual methods available in the literature. Finally we explore {applications to the obstacle problem, Empirical Risk Minimization, distributed optimization and nonlinear programming and we illustrate the performance of the method via some numerical simulations.

研究の動機と目的

• 最大モノトニック作用素、連続的モノトニック作用素、およびコールドリック作用素を含む単調包含問題を効率的に解くためのアルゴリズムを開発すること。
• コールドリック性の性質を活用して、1反復あたりのコールドリック作用素の評価回数を2回から1回に削減すること。
• 3つの作用素のうち1つがゼロとなる場合に、ツェンの手法と前方-後方分割法が特殊ケースとして得られることを示すこと。
• リゾルベントおよび単値作用素の計算において、非自己随伴線形作用素を組み込むことで、変数メトリック法を拡張すること。
• プリムアル-デュアル積空間におけるブロック下三角構造を活用することで、既存のプリムアル-デュアル法を一般化すること。

提案手法

• アルゴリズムは、最大モノトニック作用素、連続的モノトニック作用素、およびコールドリック作用素の和に前方-後方-半前方フレームワークを適用する。
• 連続的モノトニック作用素は1反復あたり2回評価されるが、コールドリック作用素は1回のみ評価され、そのコールドリック性を活用して効率性を向上させる。
• 前処理付きバージョンでは、リゾルベントおよび作用素評価に非自己随伴線形作用素を用いる。これにより、従来の変数メトリックアプローチが一般化される。
• プリムアル-デュアル積空間にブロック下三角線形作用素を許容することで、ガウス＝ザイデル型反復が可能になる。
• アルゴリズムは単調作用素理論に基づいて導出され、単調性およびリプシッツ連続性の標準的仮定の下で収束性が確立される。
• 非自己随伴作用素の組み込みにより、変数メトリック法におけるメトリック条件が簡素化される。

実験結果

リサーチクエスチョン

• RQ1 コールドリック作用素の評価回数を削減することで、前方-後方-半前方法を3作用素単調包含問題に拡張可能か？
• RQ2 収束性を損なわせることなく、非自己随伴線形作用素を前処理付き分割法に組み込む方法は何か？
• RQ3 提案手法がどのようにツェンの手法と前方-後方分割法を特殊ケースとして統合するか？
• RQ4 プリムアル-デュアル積空間におけるブロック下三角構造を活用して、ガウス＝ザイデル型プリムアル-デュアルアルゴリズムを導出可能か？
• RQ5 本手法の障害問題や分散最適化応用分野における複合単調包含問題の解法に与える影響は何か？

主な発見

• 提案手法では、1反復あたりコールドリック作用素の評価を1回のみに抑え、標準的なツェン型手法よりも高い効率性を達成する。
• コールドリック作用素がゼロとなる場合にツェンのアルゴリズムに還元され、連続的モノトニック作用素がゼロとなる場合に前方-後方分割法に還元されるため、両手法が特殊ケースとして統合される。
• 非自己随伴線形作用素を用いた前処理付きバージョンは、既存の変数メトリック法を一般化し、収束条件を簡素化する。
• プリムアル-デュアル積空間におけるブロック下三角構造を活用することで、ガウス＝ザイデル型反復が可能となり、既知の複数のプリムアル-デュアル法が拡張される。
• 数値実験により、障害問題、経験的リスク最小化、分散最適化、非線形計画問題における本手法の性能が示され、収束性が競争力を持つことが確認された。