[論文レビュー] Smoothing technique for nonsmooth composite minimization with linear operator

Quang Van Nguyen, Olivier Fercoq+1 more|arXiv (Cornell University)|Jun 19, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、線形作用素を伴う非滑らか複合凸最適化のための、スムージングに基づく高速化アルゴリズムであるASGARDを提案する。ホモトピーに基づくスムージング、ラインサーチ、勾配再利用を組み合わせることで、TV正則化回帰や量子性質予測といった大規模問題において、FISTA や Vu-Condat の手法を上回る優れた収束速度と実用的性能を達成する。

ABSTRACT

We introduce and analyze an algorithm for the minimization of convex functions that are the sum of differentiable terms and proximable terms composed with linear operators. The method builds upon the recently developed smoothed gap technique. In addition to a precise convergence rate result, valid even in the presence of linear inclusion constraints, this new method allows an explicit treatment of the gradient of differentiable functions and can be enhanced with line-search. We also study the consequences of restarting the acceleration of the algorithm at a given frequency. These new features are not classical for primal-dual methods and allow us to solve difficult large-scale convex optimization problems. We numerically illustrate the superior performance of the algorithm on basis pursuit, TV-regularized least squares regression and L1 regression problems against the state-of-the-art.

研究の動機と目的

• 非滑らか項と線形作用素の組み合わせを含む大規模凸最適化問題を解くという課題に対処すること。
• 既存の原双対法および前向き後ろ向き法が線形作用素を伴う複合項および不可能性制御を扱う際の制限を克服すること。
• 明示的な勾配計算、ラインサーチ、リスタート戦略を可能にする手法を開発し、収束性と実用的効率を向上させること。
• 一般条件、特に線形包含制約を含む条件下で、きめ細やかな収束保証を提供すること。
• 機能的MRI再構成や量子性質予測といった実世界の問題において、優れた性能を示すこと。

提案手法

• 滑らかさパラメータを段階的に小さくすることで、非滑らか関数 h を近似するホモトピーに基づくスムージングフレームワークを提案する。
• 滑らか項の勾配のリプシッツ連続性を活用して、滑らか化された複合目的関数を最小化するための加速された前向き後ろ向きスキームを適用する。
• ステップサイズを自適的に選択するラインサーチ戦略を導入し、滑らかさパラメータの事前知識が不要なまま収束性を向上させる。
• 勾配の再利用（古い勾配の再利用）を組み込み、勾配評価が高価な場合に特に有効な、反復ごとの計算コストを低減する。
• 特に悪条件設定においても収束速度とロバスト性を向上させるために、固定間隔でリスタートを可能にする。
• Fenchel-Rockafellar双対性を介して制約を処理するための原双対フレームワークに統合し、弱い仮定のもとで収束を保証する。

実験結果

リサーチクエスチョン

• RQ1 適応的スムージングパラメータを用いたスムージングベースのアプローチは、線形作用素を伴う非滑らか複合問題に対して、古典的な原双対法や前向き後ろ向き法よりも優れた収束速度を達成できるか？
• RQ2 ラインサーチと勾配再利用を組み込むことで、スムージングベースのアルゴリズムの実用的性能と収束速度にどのような影響を与えるか？
• RQ3 提案手法は、FISTA や Vu-Condat の手法といった最先端のアルゴリズムを上回る性能を実現しながら、理論的収束保証を維持できるか？
• RQ4 周期的リスタートが、大規模問題における収束行動とロバスト性に与える影響は何か？
• RQ5 収束速度や安定性を損なわずに、不可能性および線形包含制約をどの程度処理できるか？

主な発見

• ASGARD は、プライマルデュアルギャップに対して O(1/k²) の収束速度を達成し、滑らかおよび複合設定における加速手法の最良-known 確率に一致する。
• 機能的MRI再構成問題において、古い勾配と400反復ごとのリスタートを用いたASGARDは、関数値の低減量（単位時間あたり）において、FISTA や Vu-Condat のアルゴリズムを上回る。
• ラインサーチと勾配再利用の導入により、反復ごとの勾配評価回数が顕著に減少し、勾配計算が高価な場合には収束が著しく速くなる。
• 7,211分子のデータセットを用いた量子性質予測において、ASGARDの変種は、Vu-Condat や Combettes-Pesquet のアルゴリズムよりも高速に収束する。特に高次元データにおいて顕著である。
• 関数値および不可能性の両面で有限時間収束を示す。これは、制約付き非滑らか最適化においてめったに見られない性質である。
• 400反復ごとに加速をリセットすることで、全テスト問題において最も優れた実験的性能が得られ、周期的リスタートの強力な実用的利点が示された。