[論文レビュー] Inexact alternating direction multiplier methods for separable convex optimization

William W. Hager, Hongchao Zhang|arXiv (Cornell University)|Apr 8, 2016

Sparse and Compressive Sensing Techniques参考文献 32被引用数 7

ひとこと要約

本稿では、線形制約と複合目的関数を伴う分離可能な凸最適化問題を解くために、一般化、マルチステップ、加速型BOSVSを含む不正確な交替方向乗数法（ADMM）の変種を提案する。線形化された部分問題、バックサブスティテューション、勾配または加速勾配技術を用いた適応的誤差制御を組み合わせることで、部分問題に対して安価な不正確解を許容しつつ、グローバル収束を達成する。特に、正確な部分問題解が計算的に非現実的である場合に、画像再構成タスクにおける計算効率が顕著に向上する。

ABSTRACT

Inexact alternating direction multiplier methods (ADMMs) are developed for solving general separable convex optimization problems with a linear constraint and with an objective that is the sum of smooth and nonsmooth terms. The approach involves linearized subproblems, a back substitution step, and either gradient or accelerated gradient techniques. Global convergence is established. The methods are particularly useful when the ADMM subproblems do not have closed form solution or when the solution of the subproblems is expensive. Numerical experiments based on image reconstruction problems show the effectiveness of the proposed methods.

研究の動機と目的

• 部分問題に閉形式解が存在しない、または解くのに計算コストがかかる場合に、正確なADMMの計算非効率性を解消すること。
• 2ブロック変数ステップサイズBOSVSフレームワークを、グローバル収束保証のもとでマルチブロック問題に拡張すること。
• 収束を維持しつつ、部分問題解法における適応的精度制御により計算コストを削減する不正確ADMM変種を開発すること。
• 線形化、バックサブスティテューション、加速勾配技術の統合により、画像再構成における性能を向上させること。

提案手法

• バックサブスティテューションを用いたマルチブロックADMMフレームワークを導入し、通常は発散する可能性のあるマルチブロックADMMを安定化させる補助列を生成する。
• 複雑な部分問題を正確に解くのを避けるために、線形化された増大ラグランジュ部分問題を採用し、計算を効率化する。
• 和可能誤差列と勾配または部分勾配の変化に基づく適応的停止基準を用いた、誤差制御付きの不正確な解法を適用する。
• BOSVSにインspiredされた変数ステップサイズ戦略を採用し、マルチステップおよび加速型変種は、部分問題反復に対してそれぞれ$O(1/l)$および$O(1/l^2)$の収束レートを達成する。
• 収束性と安定性を向上させるために、不定プロキシマル項と適応的パrameterを組み込む。
• 動的誤差許容度を備えたバックトラッキングラインサーチを用い、不正確な部分問題解のもとでもグローバル収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 バックサブスティテューションを用いた不正確ADMMは、マルチブロック分離可能な凸最適化問題においてグローバル収束を達成できるか？
• RQ2 部分問題解法における適応的誤差制御は、正確な手法と比較して収束性と計算効率にどのような影響を与えるか？
• RQ3 単一反復、マルチステップ、または加速型といった異なる部分問題解法戦略が、全体のアルゴリズム性能に与える影響は何か？
• RQ4 不正確な解法を伴う線形化部分問題は、悪条件または大規模なシステムを有する画像再構成タスクにおいて、正確なADMMを上回る性能を発揮できるか？
• RQ5 変数ステップサイズと適応的誤差許容度は、マルチブロックADMMにおける収束速度とロバストネスにどのように影響するか？

主な発見

• 加速型BOSVS変種は最速の収束レートを達成し、画像再構成タスクにおいて正確なADMMおよび他の不正確変種を上回った。
• 部分的並列イメージングのような悪条件で大規模な問題では、加速型BOSVSは正確なアルゴリズムよりも著しく高速であり、特に初期反復で顕著だった。
• 部分問題が容易に解ける問題（例：画像のぼかし除去）では、一般化型BOSVSは正確な手法やマルチステップ方式よりも遅かったが、マルチステップおよび加速型BOSVSは依然として正確な手法を上回った。
• マルチステップおよび加速型BOSVS方式は、それぞれ部分問題反復に対して$O(1/l)$および$O(1/l^2)$の収束レートを達成し、全体の収束を高速化した。
• 提案された不正確性基準およびバックサブスティテューション機構のもとで、3つの不正確ADMM変種すべてについて、厳密なグローバル収束が確立された。
• 数値実験により、適応的誤差制御付きの不正確手法が、計算コストが高くなる部分問題においても正確性を維持しながらCPU時間を削減することが確認された。