[論文レビュー] Convex optimization over intersection of simple sets: improved convergence rate guarantees via an exact penalty approach

Achintya Kundu, Francis Bach+1 more|arXiv (Cornell University)|Oct 17, 2017

Sparse and Compressive Sensing Techniques参考文献 2被引用数 7

ひとこと要約

本稿は、単純な凸集合の共通部分集合上での凸最適化のための、新しい正確ペナルティに基づくプライマル・デュアルアルゴリズムを提案する。各集合の射影オракルを用いるが、全共通部分集合への射影は行わない。滑らかな問題ではO(1/ε)、複合的な問題ではO(1/√ε)の収束速度を達成し、同時に目的関数の最適性と実行可能性距離の両方の境界を明示的に保証する。グラフ伝達およびマッチングタスクにおいて理論的・実用的に既存手法を上回る性能を発揮する。

ABSTRACT

We consider the problem of minimizing a convex function over the intersection of finitely many simple sets which are easy to project onto. This is an important problem arising in various domains such as machine learning. The main difficulty lies in finding the projection of a point in the intersection of many sets. Existing approaches yield an infeasible point with an iteration-complexity of $O(1/\varepsilon^2)$ for nonsmooth problems with no guarantees on the in-feasibility. By reformulating the problem through exact penalty functions, we derive first-order algorithms which not only guarantees that the distance to the intersection is small but also improve the complexity to $O(1/\varepsilon)$ and $O(1/\sqrt{\varepsilon})$ for smooth functions. For composite and smooth problems, this is achieved through a saddle-point reformulation where the proximal operators required by the primal-dual algorithms can be computed in closed form. We illustrate the benefits of our approach on a graph transduction problem and on graph matching.

研究の動機と目的

• 全共通部分集合への射影が計算的に非現実的である場合に、複数の単純な凸集合の共通部分集合上での凸関数の最小化という課題に対処すること。
• 各単純集合に対する個別の射影オラクルのみにアクセスする一階法を開発し、全共通部分集合の射影を直接計算するのを避けること。
• 最適性ギャップと不実行性（実行可能集合までの距離）の両方を同時に制御する収束レートの保証を提供すること。これは従来の手法に欠けている。
• 標準的な制約規準の下で、既存手法のO(1/ε²)から、滑らかな問題ではO(1/ε)、複合的な問題ではO(1/√ε)へと反復複雑度を改善すること。
• グラフ伝達およびグラフマッチングの実験を通じて、新しい手法が、実行可能集合への射影後でも正確性を維持することを示すこと。

提案手法

• 実行可能性制約を目的関数に埋め込むために正確ペナルティ関数を用いて元の問題を再定式化し、鞍点問題として定式化すること。
• 鞍点定式化に基づくプライマル・デュアルアルゴリズムを導入し、個々の射影オラクルを用いて近似演算子を閉形式で計算可能にすること。
• 標準的な制約規準を用いて正確ペナルティ定式化が有効であり、同等の解を導くことを保証すること。
• 実行可能性近接性を維持し、個々の集合における単純な近似ステップにより効率的な計算を可能にする、複合的なミラー・プロックス変種（SMP）を設計すること。
• 近似射影ステップを近似的に計算するための不正確な内部反復法（IIPM）を用い、固定回数の内部反復で収束保証を与えること。
• 一階法に正確ペナルティアプローチを統合し、反復点が実行可能集合に近いまま高速収束を達成することを保証すること。

実験結果

リサーチクエスチョン

• RQ1 個々の射影オラクルしか利用できない状況において、単純な集合の共通部分集合上での凸最適化で、より速い収束速度を達成できるか？
• RQ2 このような問題に対して、一階法が同時に小さな最適性ギャップと小さな不実行性（実行可能集合までの距離）を保証できるか？
• RQ3 正確ペナルティ定式化は、従来の射影法や交互射影法と比較して、より良い収束速度と実行可能性制御を可能にするか？
• RQ4 特に時間制約のある状況において、提案手法はフランク＝ウォルフ法や他のプライマル・デュアル手法を実用的に上回るか？
• RQ5 実世界の機械学習タスクにおいて、実行可能集合に近接を維持することは、最終的な目的関数値と予測性能にどのように影響するか？

主な発見

• 提案手法である正確ペナルティプライマル・デュアル（EPPD）は、滑らかな問題ではO(1/ε)、複合的な問題ではO(1/√ε)の収束速度を達成し、既存手法のO(1/ε²)と比べて顕著に向上している。
• SMPバージョンは反復点が実行可能集合からε/L_fの距離内に保たれることを保証し、グラフマッチング実験で不実行性による誤った低目的関数値を回避していることが示された。
• グラフ伝達タスクでは、SMP手法は1 vs 2で5.77%、1 vs 7で5.31%、3 vs 8で6.46%の分類精度を達成し、実行可能集合への射影後でも劣化が最小限に抑えられており、頑健性が確認された。
• n=200ノードのグラフマッチングでは、EPPDがフランク＝ウォルフ法やCMPよりも速く収束した。これは、各反復で単体への射影のみを実行する一方で、割り当て問題の解法や複数の近似ステップを必要とする既存手法と比較して、計算コストが低かったためである。
• IIPM法はより高速ではあったが、大きな不実行性により誤った低目的関数値を生成していた。これは、アルゴリズム設計において実行可能性の保証がいかに重要であるかを示している。
• 実験結果から、新しい手法は不実行な反復点を実行可能集合に射影しても、予測性能と安定した目的関数値を維持していることが確認された。これは、ベースライン手法とは対照的である。