[論文レビュー] Step-Size Adaptivity in Projection-Free Optimization

Fabián Pedregosa, Armin Askari+2 more|arXiv (Cornell University)|Jun 13, 2018

Stochastic Gradient Optimization Techniques参考文献 8被引用数 5

ひとこと要約

本稿では、バックトラックラインサーチを用いて、フランク＝ウォルフ法やマッチング・パラダイムなど、射影フリー最適化アルゴリズムにおける段階的ステップサイズ戦略を導入する。グローバル定数ではなく局所的な目的関数情報を利用するため、凸および非凸問題の両方において、最良の非適応的バージョンと同等の収束速度を達成し、3つのデータセットにおける実用的性能向上を実証的に示している。

ABSTRACT

We propose and analyze adaptive step-size (also known as inexact line search) variants of different projection-free algorithms such as Frank-Wolfe, its Away-Steps and Pairwise variants as well as Matching Pursuit. The proposed methods leverage local information of the objective through a backtracking line search strategy. This has two key advantages: First, it does rely on constants of the objective that might be costly to compute, such as the Lipschitz or the curvature constant. Second, the proposed criterion is adaptive to local information of the objective, allowing for larger step-sizes. For all proposed methods, we derive convergence rates on convex and non-convex problems that asymptotically match the strongest known bounds for non-adaptive variants. As a side-product of our analysis we obtain the first known bounds for matching pursuit on non-convex objectives. Benchmarks on three different datasets illustrate the practical advantages of the method.

研究の動機と目的

• 射影フリー最適化アルゴリズムにおける、リプシッツ定数や曲率定数といった計算コストの高いグローバル定数への依存を排除すること。
• 局所的な目的関数情報に基づいて動的に調整される適応的ステップサイズ戦略の開発。
• 凸および非凸設定の両方において、非適応的バージョンと同等またはそれ以上の収束速度を維持または向上させること。
• 非凸目的関数におけるマッチング・パラダイムの、これまでに知られていた最初の収束境界を確立すること。
• 3つの実世界のデータセットを用いたベンチマークを通じて、実用的利点を示すこと。

提案手法

• 局所的な曲率および降下情報に基づいてステップサイズを適応的に選択するバックトラックラインサーチ戦略を提案。
• 適応的ステップサイズ機構を、フランク＝ウォルフ法、そのアウェイステップおよびペアワイズ変種、およびマッチング・パラダイムに適用。
• リプシッツ定数などのグローバル定数の明示的計算を避けるために、局所的な十分減少条件に依存。
• コア更新ルールへの最小限の変更で、既存の射影フリーフレームワークに適応的ラインサーチを統合。
• 各反復で進捗を保証する十分減少基準を用いながら、より大きな、問題に適応したステップサイズを許容。
• 凸および非凸設定の両方における収束性を分析し、既知の最適境界に一致する漸近的収束速度を導出。

実験結果

リサーチクエスチョン

• RQ1 射影フリー最適化アルゴリズムにおける適応的ステップサイズは、曲率定数やリプシッツ定数といったグローバル定数を必要とせずに収束性を改善できるか？
• RQ2 非適応的バージョンと比較して、適応的ステップサイズは凸および非凸最適化問題における収束速度にどのように影響を与えるか？
• RQ3 提案されたバックトラックラインサーチ戦略は、マッチング・パラダイムに効果的に拡張可能か？また、どのような収束保証を確立できるか？
• RQ4 実世界のデータセットにおいて、適応的手法は標準的な射影フリー手法に比べて、どのような実用的利点を達成するか？
• RQ5 非凸目的関数におけるマッチング・パラダイムの、最初に知られた収束境界は何か？

主な発見

• 提案された適応的ステップサイズ手法は、凸および非凸問題の両方において、非適応的バージョンの最も強い既知の境界に漸近的に一致する収束速度を達成している。
• リプシッツ定数や曲率定数といったグローバル定数の計算や推定の必要性が排除され、計算オーバーヘッドが低減されている。
• バックトラックラインサーチにより、局所的な目的関数情報を利用したより大きな、問題に適応したステップサイズが可能となり、実用的収束速度が向上している。
• 解析により、非凸目的関数におけるマッチング・パラダイムの、これまでに知られていた最初の収束境界が得られた。これにより、理論的理解が拡張された。
• 3つの異なるデータセットにおける実験的ベンチマークにより、適応的手法が標準的な射影フリーアルゴリズムよりも一貫した実用的利点を示していることが実証された。