[論文レビュー] A Three-Operator Splitting Scheme and its Optimization Applications

Damek Davis, Wotao Yin|arXiv (Cornell University)|Apr 4, 2015

Sparse and Compressive Sensing Techniques参考文献 10被引用数 42

ひとこと要約

本稿は、3つの作用素の単調包含問題を解くための新規な3作用素分割スキームを提案する。そのうち1つの作用素は共強単調的（cocoercive）であり、これにより機械学習、画像処理、信号処理分野における広範な最適化問題の効率的解決が可能になる。このスキームは前向き-後退法、Douglas-Rachford法、前向き-Douglas-Rachford法を一般化し、収束保証付きの単純なアルゴリズムを提供する。また、3ブロックADMM拡張のための初の一般収束結果を達成する。

ABSTRACT

Operator splitting schemes have been successfully used in computational sciences to reduce complex problems into a series of simpler subproblems. Since 1950s, these schemes have been widely used to solve problems in PDE and control. Recently, large-scale optimization problems in machine learning, signal processing, and imaging have created a resurgence of interest in operator-splitting based algorithms because they often have simple descriptions, are easy to code, and have (nearly) state-of-the-art performance for large-scale optimization problems. Although operator splitting techniques were introduced over 60 years ago, their importance has significantly increased in the past decade. This paper introduces a new operator-splitting scheme for solving a variety of problems that are reduced to a monotone inclusion of three operators, one of which is cocoercive. Our scheme is very simple, and it does not reduce to any existing splitting schemes. Our scheme recovers the existing forward-backward, Douglas-Rachford, and forward-Douglas-Rachford splitting schemes as special cases. Our new splitting scheme leads to a set of new and simple algorithms for a variety of other problems, including the 3-set split feasibility problems, 3-objective minimization problems, and doubly and multiple regularization problems, as well as the simplest extension of the classic ADMM from 2 to 3 blocks of variables. In addition to the basic scheme, we introduce several modifications and enhancements that can improve the convergence rate in practice, including an acceleration that achieves the optimal rate of convergence for strongly monotone inclusions. Finally, we evaluate the algorithm on several applications.

研究の動機と目的

• 機械学習、信号処理、画像処理分野における大規模最適化問題に対する効率的かつスケーラブルなアルゴリズムの必要性に対応する。
• 既存の手法（前向き-後退法やDouglas-Rachford法）を一般化する、3作用素単調包含問題のための新規な作用素分割フレームワークを開発する。
• 共強単調的作用素を含む問題を扱える統一的かつ単純なアルゴリズム構造を提供する。これには3セット分離可解問題、二重正則化問題、3目的最小化問題が含まれる。
• 古典的な2ブロックADMMを3ブロックに拡張し、先行する3ブロックADMM変種の制限を克服する一般収束結果を提供する。
• 強単調包含問題に対して最適な収束レートを達成するための加速技術を用いる。

提案手法

• 2つの単調作用素と1つの共強単調作用素を含む固定点作用素Tを用いた新規な分割スキームを提案する。
• 反復は $ z^{k+1} = (1 - \lambda_k)z^k + \lambda_k T z^k $ で定義され、ここで $ T = I - J_{\gamma B} + J_{\gamma A} \circ (2J_{\gamma B} - I - \gamma C \circ J_{\gamma B}) $ であり、$ \gamma \in (0, 2\beta) $ である。
• Tが平均化作用素であることと、Tの固定点が単調包含 $ 0 \in Ax + Bx + Cx $ の解に対応することを示すことにより収束を保証する。
• 収束特性を向上させるために、緩和パラメータ $ \lambda_k \in (0, (4\beta - \gamma)/(2\beta)) $ を導入する。
• このスキームを応用して、3セット分離可解問題、3目的最小化問題、二重正則化問題のための新規なアルゴリズムを導出する。
• 強単調包含問題に対して最適な $ O(1/k^2) $ 収束レートを達成する加速版を提供する。

実験結果

リサーチクエスチョン

• RQ1 3作用素単調包含問題に対する既存の分割法を統合・一般化する新規な作用素分割スキームを開発できるか？
• RQ2 共強単調的作用素の存在をどのように活用すれば、従来の3作用素スキームよりも単純かつ効率的なアルゴリズムを設計できるか？
• RQ3 提案スキームを用いて、3ブロックADMM拡張のための初の一般収束結果を導出できるか？
• RQ4 提案スキームの収束レートは何か？また、強単調包含問題に対して最適なレートに加速できるか？
• RQ5 このスキームは、分離可解問題や二重正則化最適化といった実世界問題にどの程度応用可能か？

主な発見

• 提案された3作用素分割スキームは、前向き-後退法、Douglas-Rachford法、前向き-Douglas-Rachford法を特別な場合として回復する。
• Cが共強単調的であるという標準的仮定のもとで、単調包含 $ 0 \in Ax + Bx + Cx $ に対して収束を達成する。
• 3ブロックADMMに対して、従来の文献に欠けていた新規で単純かつ一般な収束結果を実現する。
• 加速版アルゴリズムは、強単調包含問題に対して最適な $ O(1/k^2) $ 収束レートを達成する。
• 特定のパrameter選択下では、アルゴリズムが任意に遅く収束することが示され、最悪ケースにおけるレートのタイトさが裏付けられる。
• 分離可解問題や二重正則化問題への数値実験により、提案手法の実用的効率性と単純さが確認される。