[論文レビュー] Mini-Batch Primal and Dual Methods for SVMs

Martin Takáč, Avleen S. Bijral+2 more|arXiv (Cornell University)|Mar 10, 2013

Stochastic Gradient Optimization Techniques参考文献 11被引用数 90

ひとこと要約

本稿では、線形SVMの訓練のためのミニバッチ版プライマル（Pegasos）およびデュアル（SDCA）手法を導入し、データのスペクトルノルムが並列化の高速化を制御することを示している。非滑らかなヒンジ損失を伴うミニバッチPegasosに対する理論的保証を初めて提供し、スペクトルノルムに依存する安全なSDCAの変種を提案することで、同等の高速化を達成しながら、プライマル目的関数の部分最適性を維持した有効な並列化を可能にした。

ABSTRACT

We address the issue of using mini-batches in stochastic optimization of SVMs. We show that the same quantity, the spectral norm of the data, controls the parallelization speedup obtained for both primal stochastic subgradient descent (SGD) and stochastic dual coordinate ascent (SCDA) methods and use it to derive novel variants of mini-batched SDCA. Our guarantees for both methods are expressed in terms of the original nonsmooth primal problem based on the hinge-loss.

研究の動機と目的

• 非滑らかなヒンジ損失を伴う確率的SVM最適化におけるミニバッチ化の理論的裏付けの欠如に対処すること。
• データのスペクトルノルムが、プライマルおよびデュアルの確率的手法における並列化の高速化を可能にする主要因であることを同定すること。
• ミニバッチPegasosの高速化保証と同等の速度向上を達成する、安全で理論的に収束保証が得られるミニバッチSDCAの変種を開発すること。
• 双対ギャップではなく、元の非滑らかなプライマルSVM目的関数に基づいた反復複雑度の境界を確立すること。
• 従来の半径に基づく境界を越えて分析を精緻化することで、線形SVMの効果的な並列および分散学習を可能にすること。

提案手法

• 従来の半径に基づく境界に代えて、データのスペクトルノルムを用いたミニバッチPegasosの洗練された分析を導入する。
• ステップサイズをスペクトルノルムで制御することで収束を保証する「安全な」ミニバッチSDCAの変種を提案する。
• 双対ギャップおよびプライマル部分最適性に基づいた両手法の反復複雑度の境界を導出する。これらはスペクトルノルムに直接関連付けられている。
• 収束と高速化を制御するための新しい量 βb = 1 + (b−1)σ² を用いる。ここで σ² はスペクトルノルムである。
• 非滑らかなヒンジ損失および任意のリプシッツ連続損失関数に一般化し、SVMにとどまらない。
• 実験的性能を向上させるために、より攻撃的なSDCAの変種ではヒューリスティックな適応的ステップサイズを採用するが、理論的根拠を保持する。

実験結果

リサーチクエスチョン

• RQ1 ミニバッチPegasosは、非滑らかなSVM目的関数において、保証付きの並列化の高速化を達成できるか？
• RQ2 なぜNaiveなミニバッチ化はSDCAで失敗するのか？どのような修正により収束と高速化が可能になるか？
• RQ3 データのスペクトルノルムは、プライマルおよびデュアルのSVM手法におけるミニバッチの高速化を支配する主要要因か？
• RQ4 ミニバッチSDCAの収束保証を、プライマル目的関数の部分最適性の観点から直接表現できるか？
• RQ5 ミニバッチSDCAにおいて、収束を保証しつつ高速化を損なわずにステップサイズをどのように選べるか？

主な発見

• データのスペクトルノルムが、ミニバッチPegasosおよびSDCAの両方における並列化の高速化を制御しており、従来の半径に基づく解析に取って代わる。
• 非滑らかなヒンジ損失を伴うミニバッチPegasosに対する理論的分析を初めて提供し、収束と高速化を保証する。
• ステップサイズがスペクトルノルムで上限に制限される限り収束が保証される「安全な」ミニバッチSDCAの変種を提案した。
• 安全なSDCAの変種は、ミニバッチPegasosと同等の反復複雑度および高速化を達成し、プライマル部分最適性の観点から表現される。
• 実験的に、より攻撃的で適応的なSDCAの変種が安全なバージョンを上回る性能を示したが、ヒューリスティックなステップサイズ調整を要する。
• 理論的保証は、ヒンジ損失に限らず、任意のリプシッツ連続損失関数にまで拡張可能であり、経験的および母集団の両目的関数に適用可能である。