[論文レビュー] A Conditional Gradient Framework for Composite Convex Minimization with Applications to Semidefinite Programming

Alp Yurtsever, Olivier Fercoq+2 more|arXiv (Cornell University)|Apr 23, 2018

Sparse and Compressive Sensing Techniques参考文献 37被引用数 11

ひとこと要約

本稿では、フレンク＝ウォルフ枠組みの下で滑らか化とホモトピー技法を統合した、合成凸最小化のための新規な条件付き勾配フレームワークを提案する。このフレームワークは、非正確な線形最小化オракルを用いても、最適な $Ó(1/\sqrt{k})$ 収束速度を達成する。非滑らか項（例：指示関数）を独自に取り扱えるため、半正定値計画法や線形包含制約を含む問題に対する効率的な解法が可能となる。

ABSTRACT

We propose a conditional gradient framework for a composite convex minimization template with broad applications. Our approach combines smoothing and homotopy techniques under the CGM framework, and provably achieves the optimal $\mathcal{O}(1/\sqrt{k})$ convergence rate. We demonstrate that the same rate holds if the linear subproblems are solved approximately with additive or multiplicative error. In contrast with the relevant work, we are able to characterize the convergence when the non-smooth term is an indicator function. Specific applications of our framework include the non-smooth minimization, semidefinite programming, and minimization with linear inclusion constraints over a compact domain. Numerical evidence demonstrates the benefits of our framework.

研究の動機と目的

• 非滑らか項を扱いながら計算効率を維持する、プロジェクションフリーな最適化フレームワークを構築すること。
• 加法的または乗法的誤差を伴う非正確なオラクルのもとでも、最適な $Ó(1/\sqrt{k})$ 収束速度を達成すること。
• 指示関数や線形包含制約を含む問題への条件付き勾配法の適用範囲を拡張すること。
• 線形最小化オラクルの単純さを保ちつつ、非滑らかで構造的問題に対する収束保証を可能にする統一的フレームワークを提供すること。
• ロバストPCAおよび行列補完タスクにおける数値実験を通じて、フレームワークの実用的利点を示すこと。

提案手法

• 非滑らか関数の近似に滑らか化技術を統合し、解路の徐々な精緻化にホモトピー続行法を適用する。
• 滑らか化された双対定式化に基づく条件付き勾配法を用い、線形部分問題は線形最小化オラクル（lmo）で解く。
• 反復点 $x_k$ はステップサイズ $\eta_k = 2/(k+1)$ で更新され、探索方向 $s_k$ は滑らか部分の勾配の lmo から得られる。
• 非滑らか項 $g(Ax)$ は、明示的な近位写像計算を避ける近位的滑らか化技術により処理される。
• 線形部分問題の非正確解を許容し、加法的および乗法的誤差境界のもとで収束保証が得られる。
• 半正定値計画法、非滑らか最小化、コンactドメイン上のアフィン制約付き問題など、特定の問題クラスにフレームワークを適用する。

実験結果

リサーチクエスチョン

• RQ1 条件付き勾配法は、指示関数を含む非滑らか項を有する合成凸問題において、最適な $Ó(1/\sqrt{k})$ 収束速度を達成できるか？
• RQ2 線形部分問題が加法的または乗法的誤差を伴う近似的に解かれた場合でも、フレームワークは収束を保つのか？
• RQ3 近位写像オラクルを必要とせずに、半正定値計画法や線形包含制約を含む問題を効率的に解けるか？
• RQ4 実用的な機械学習応用において、既存のプロジェクションフリー手法と比較して、提案フレームワークの性能はどのように異なるか？
• RQ5 ロバストPCAや行列補完といった実世界問題において、目的関数残差と実行可能性ギャップの観点から、本手法の経験的挙動はいかなるものか？

主な発見

• 提案フレームワークは、非滑らか項が指示関数であっても、目的関数残差および実行可能性ギャップの両方で最適な $Ó(1/\sqrt{k})$ 収束速度を達成する。
• 加法的または乗法的誤差を伴う非正確な線形最小化オラクルでも収束が保たれ、実用的状況でのロバスト性が確保される。
• ロバストPCAの実験では、標準的な最小二乗法と比較して、PSNRが5 dB高く、SSIMが0.27上昇した。
• 行列補完問題では、約1000反復目で誤分類率が0.0914に達し、先行研究比で5.8%の改善を示した。
• 複数のテストケースにおいて、目的関数残差および実行可能性ギャップの両方で、経験的に $Ó(1/\sqrt{k})$ の収束速度を示した。
• 近位写像の高コスト計算を回避することで、半正定値計画法やアフィン制約付き問題の効率的解法が可能となった。