[論文レビュー] Distributed Training of Structured SVM

Ching-pei Lee, Kai-Wei Chang+2 more|arXiv (Cornell University)|Jun 8, 2015

Advanced Image and Video Retrieval Techniques参考文献 25被引用数 5

ひとこと要約

本稿では、非滑らかな目的関数にもかかわらずグローバル線形収束を達成する、構造的サポートベクターマシン（SSVM）の分散ブロック座標降下アルゴリズムを提案する。特徴ハッシュと双対座標降下による効率的な部分問題解決を活用することで、複数のマシンに跨るスケーラブルで高パフォーモンスな学習が可能となり、POSタギングおよび依存解析タスクにおいて、既存の分散および単一マシンベースラインを速度および精度の両面で上回る。

ABSTRACT

Training structured prediction models is time-consuming. However, most existing approaches only use a single machine, thus, the advantage of computing power and the capacity for larger data sets of multiple machines have not been exploited. In this work, we propose an efficient algorithm for distributedly training structured support vector machines based on a distributed block-coordinate descent method. Both theoretical and experimental results indicate that our method is efficient.

研究の動機と目的

• 単一マシンにおける構造的学習のスケーラビリティ制限を解消し、構造的SVMの分散学習を可能にすること。
• オンザフライでの特徴生成や通信-推論のトレードオフといった、分散構造的学習の課題に取り組むこと。
• 非滑らかな目的関数に対して、分散SSVM学習で高速な収束を達成すること。
• 特徴同期化に伴う高い通信オーバーヘッドを負わずに、マシン間でのモデルの一貫性を維持すること。
• POSタギングや依存解析のような大規模な構造予測タスクにおいて、本手法の効率性とスケーラビリティを実証的に検証すること。

提案手法

• 本手法は、構造的SVMのためのBQO（ボックス制約付き二次計画）アルゴリズムに基づく分散ブロック座標降下フレームワークを採用する。
• SSVMの双対問題を、非滑らかな目的関数を持つ大規模最適化問題として定式化し、双対変数の反復的更新により解く。
• 各マシンが訓練インスタンスのサブセットを処理し、デュアル座標降下などの既成品のソルバを用いて小規模なSSVMの部分問題を解く。
• 特徴ハッシュを用いて、動的かつオンザフライで生成される特徴を固定サイズの整数インデックスにマッピングし、マシン間で一貫した特徴インデックスを保証する。
• マシン間で必要な双対変数の更新のみを交換することで通信を最小限に抑え、グローバル線形レートの収束が条件を満たす場合に保証される。
• 近似された部分問題解を許容することで、通信コストと推論コストのトレードオフを調整し、通信ラウンド数を減らす代わりに推論回数を減らす。

実験結果

リサーチクエスチョン

• RQ1 非滑らかな目的関数に対しても、分散アルゴリズムが構造的SVMでグローバル線形収束を達成できるか？
• RQ2 学習中にオンザフライで特徴が生成される状況下で、分散マシン間での特徴の一貫性をどのように維持できるか？
• RQ3 分散構造的学習における通信コストと推論コストのトレードオフは何か？ そして、どのように最適化できるか？
• RQ4 本手法は、既存の分散および単一マシンのSSVM学習アプローチと比較して、収束速度および精度で優れているか？
• RQ5 推論コストが高いタスク（例：依存解析）においても、本手法は複数のマシンに効果的にスケーリングできるか？

主な発見

• 提案されたBQO-Structアルゴリズムは、非滑らかな構造的SVMの目的関数に対して、O(log(1/ε))のグローバル線形収束レートを達成し、部分的収束レートを示す手法を著しく上回る。
• 依存解析において、BQO-Structはマシン数の増加に伴いほぼ線形のスループット向上を達成し、高コストな推論ステップの効果的な並列化を示している。
• 部分品タギングでは、単一マシン学習がすでに高速であるため、分散学習によるスループット向上は限定的であり、高複雑度タスクでは推論コストが学習時間の主因であることを裏付けている。
• BQO-Structは、ADMM-Struct、分散パーセプトロン、およびモデルアveragingすべての手法を、両タスクにおいて訓練速度およびテスト性能の面で上回った。
• 特徴ハッシュの使用により、通信オーバーヘッドを最小限に抑えながらマシン間での特徴インデックスの一貫性を実現でき、大規模分散学習に実用的であることが示された。
• 実験的結果から、本手法は推論が計算の主なボトル neck となる大規模構造予測タスクにおいて特に効果的であることが明らかになった。