[論文レビュー] A Novel Frank-Wolfe Algorithm. Analysis and Applications to Large-Scale SVM Training

Héctor Allende, Emanuele Frandi+2 more|arXiv (Cornell University)|Apr 3, 2013

Sparse and Compressive Sensing Techniques被引用数 12

ひとこと要約

本稿では、大規模なSVM学習のための新しいフランク＝ウォルフ法の変種を提案する。この手法は、スワップ機構に基づく新しいアウェイステップ戦略を導入し、モデルの精度を損なわずに収束速度を向上させる。この方法は、最先端の手法と同等の線形収束レートを達成しており、特にアウェイステップが収束を遅くする場合に、古典的なアウェイステップを上回る実用的性能を示す。

ABSTRACT

Recently, there has been a renewed interest in the machine learning community for variants of a sparse greedy approximation procedure for concave optimization known as {the Frank-Wolfe (FW) method}. In particular, this procedure has been successfully applied to train large-scale instances of non-linear Support Vector Machines (SVMs). Specializing FW to SVM training has allowed to obtain efficient algorithms but also important theoretical results, including convergence analysis of training algorithms and new characterizations of model sparsity. In this paper, we present and analyze a novel variant of the FW method based on a new way to perform away steps, a classic strategy used to accelerate the convergence of the basic FW procedure. Our formulation and analysis is focused on a general concave maximization problem on the simplex. However, the specialization of our algorithm to quadratic forms is strongly related to some classic methods in computational geometry, namely the Gilbert and MDM algorithms. On the theoretical side, we demonstrate that the method matches the guarantees in terms of convergence rate and number of iterations obtained by using classic away steps. In particular, the method enjoys a linear rate of convergence, a result that has been recently proved for MDM on quadratic forms. On the practical side, we provide experiments on several classification datasets, and evaluate the results using statistical tests. Experiments show that our method is faster than the FW method with classic away steps, and works well even in the cases in which classic away steps slow down the algorithm. Furthermore, these improvements are obtained without sacrificing the predictive accuracy of the obtained SVM model.

研究の動機と目的

• 標準のフランク＝ウォルフ法が大規模なSVM学習で収束が遅い問題に対処するため、新しいアウェイステップ機構を導入すること。
• 理論的収束保証を維持しながら実用的性能を向上させるフランク＝ウォルフ法の変種を開発すること。
• 古典的なアウェイステップがアルゴリズムの収束を遅くする状況で性能が低下するのを回避する手法を提供すること。
• 新しいアルゴリズムがスパarsityと予測精度を維持しながら収束を加速できることを示すこと。
• 理論的収束解析と実世界の分類データセットにおける実証的検証を統合すること。

提案手法

• 本手法は、新しいタイプのアウェイステップ「スワップステップ」として、同時に1つのサポートベクターの重みを増加させるとともに別のものを減少させる、新たなアウェイステップを導入し、降下方向の選択を改善する。
• アルゴリズムは、標準のフランク＝ウォルフステップとスワップステップを組み合わせたハイブリッド戦略を用い、Lipschitz連続性の制約下で目的関数の改善を最大化するようにステップサイズを最適化する。
• 理論的分析では、勾配のLipschitz定数Lを用いて、二次近似を活用し、目的関数の改善を上限で評価する。
• 各反復において、双対ギャップが√δkとδkの最小値に関連する要因で少なくとも1回減少することを保証する。
• 勾配ギャップとステップサイズの妥当性に基づき、フランク＝ウォルフステップとスワップステップの間で動的に選択を行い、非効率な更新を回避する。
• 理論的保証として、標準的な仮定の下で線形収束が保証され、二次形式において、MDMや他のアウェイステップ変種と同等の最良のレートに達する。

実験結果

リサーチクエスチョン

• RQ1 フランク＝ウォルフ法における新しいアウェイステップ機構は、モデルの精度を損なわず、大規模なSVM学習における収束速度を向上させることができるか？
• RQ2 古典的なアウェイステップが収束を遅くする実用的状況において、提案されたスワップベースのアウェイステップは、それらを上回る性能を示すか？
• RQ3 新しいアルゴリズムは理論的に線形収束を保証するか？ 二次形式において、類似手法の最良の既知のレートと同等か？
• RQ4 提案手法は、大規模データセットにおける学習を加速させつつ、スパarsityと予測性能を維持できるか？
• RQ5 多様な分類データセットにおいて、新しいアルゴリズムは、最先端のFW変種と比較して収束速度と実行時間の両面で優れているか？

主な発見

• 提案手法は線形収束を達成しており、二次形式において、修正フランク＝ウォルフ法（MFW）とMDMアルゴリズムの理論的保証と同等のものである。
• 実験結果から、標準的なフランク＝ウォルフ法に古典的なアウェイステップを組み込んだ手法よりも高速であることが示され、特に古典的なアウェイステップが性能を低下させる状況で顕著である。
• アルゴリズムはベースライン手法と同等の予測精度を維持しており、速度とモデル品質のトレードオフがないことを保証する。
• 統計的検定により、複数のベンチマークデータセットにおいて性能向上が有意であることが確認された。
• 理論的分析から、スワップステップによる目的関数の改善は、双対ギャップδkの関数によって下限づけられており、持続的な進捗が保証される。
• 非効率な更新を回避するため、ステップサイズのクリッピング戦略を用いることで、古典的なアウェイステップの性能の低下を回避する。