[論文レビュー] Splitting the Smoothed Primal-Dual Gap: Optimal Alternating Direction Methods

Quoc Tran Dinh, Volkan Cevher|arXiv (Cornell University)|Jul 14, 2015

Sparse and Compressive Sensing Techniques参考文献 48被引用数 5

ひとこと要約

本稿では、制約付き凸最適化における新しい分割ギャップ低減（SGR）技術を導入し、罰則パラメータのチューニングを必要とせずに、交替方向法における最適収束速度を達成する。プロトタイプテンプレートにおける分割構造を活用することで、SGRは前向き後向きおよびドーキング＝ラッハフォード分割を用いて滑らか化されたプライマル・デュアルギャップ解析を拡張し、同時にプライマル・デュアルおよび滑らかさパラメータを更新することにより最適収束を達成する。

ABSTRACT

We develop rigorous alternating direction optimization methods for a prototype constrained convex optimization template, which has broad applications in computational sciences. We build upon our earlier work on the model-based gap reduction (MGR) technique, which revolves around a smoothed estimate of the primal-dual gap. MGR allows us to simultaneously update a sequence of primal and dual variables as well as primal and dual smoothness parameters so that the smoothed gap function converges to the true gap, which in turn converges to zero -- both at optimal rates. In contrast, this paper introduces a new split-gap reduction (SGR) technique as a natural counterpart of MGR in order to take advantage of additional splitting structures present in the prototype template. We illustrate SGR technique using the forward-backward and Douglas-Rachford splittings on the smoothed gap function and derive new alternating direction methods. The new methods obtain optimal convergence rates without heuristics and eliminate the infamous penalty parameter tuning issue in the existing alternating direction methods. Finally, we verify the performance of our methods in comparison to the existing state-of-the-art and the new theoretical performance bounds via numerical examples.

研究の動機と目的

• 交替方向法における罰則パラメータチューニングの課題に対処すること。
• 最適化テンプレートにおける構造的分解を活用する新しい分割ベースのギャップ低減技術を開発すること。
• 滑らか化されたプライマル・デュアルギャップフレームワークを拡張することで、ヒューリスティックを用いずに最適収束速度を達成すること。
• 制約付き凸最適化に対して、収束速度が最適な、厳密な理論的保証を備えた安定性と性能の向上を実現する手法を提供すること。

提案手法

• モデルベースギャップ低減（MGR）フレームワークの自然な拡張として、分割ギャップ低減（SGR）技術を提案する。
• 滑らか化されたプライマル・デュアルギャップ関数に前向き後向きおよびドーキング＝ラッハフォード分割を適用し、構造的最適化を可能にする。
• プライマルおよびデュアル変数に加え、プライマルおよびデュアルの滑らかさパラメータを同時に更新することで、滑らか化されたギャップを最適速度でゼロに近づける。
• プライマル・デュアルギャップの滑らか化推定を用いることで、罰則パラメータなしに安定的かつ適応的な収束を実現する。
• ギャップ最小化に基づく新しい交替方向法を導出し、理論的収束保証を提供する。
• 分割構造をギャップ低減プロセスに統合することで、アルゴリズムの効率性と収束特性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 分割構造を活用する新しいギャップ低減技術を開発でき、交替方向法における収束を改善できるか？
• RQ2 ヒューリスティックな罰則パラメータチューニングに依存せずに、最適収束速度を達成できるか？
• RQ3 滑らか化されたプライマル・デュアルギャップフレームワークを、前向き後向きおよびドーキング＝ラッハフォードスキームによる構造的分割をサポートするように拡張できるか？
• RQ4 既存手法と比較して、新しいSGRベースの手法の理論的収束挙動はいかなるものか？

主な発見

• 提案されたSGRベースの交替方向法は、罰則パラメータのチューニングを一切必要とせず、最適収束速度を達成する。
• この手法により、従来のADMM変種における主な制限要因であるヒューリスティックなパrameter選択の必要性が明確に排除された。
• 数値例は、最先端の手法と比較して優れた性能を確認し、理論的収束境界の妥当性を検証した。
• プライマルおよびデュアル変数と滑らかさパラメータの同時更新により、滑らか化されたギャップが最適速度でゼロに収束することが保証された。
• SGR技術は、最適化テンプレートにおける追加の分割構造を活用することで、MGRの自然な対応技術を提供する。