[論文レビュー] Dual coordinate solvers for large-scale structural SVMs

Deva Ramanan|arXiv (Cornell University)|Dec 6, 2013

Human Pose and Action Recognition参考文献 22被引用数 14

ひとこと要約

この論文は、バッチ最適化とオンラインデータ処理を組み合わせることで、メモリに収まらないデータセットを効率的に処理できる大規模な構造的SVM用の二重座標降下ソルバを提示する。過去の解からのホットスタートを活用し、データアクセスと最適化の動的バランスを取ることで、バッチ法に類似した安定性と収束速度を実現しながら、メモリに収まらないデータセットにもスケーリング可能である。

ABSTRACT

This manuscript describes a method for training linear SVMs (including binary SVMs, SVM regression, and structural SVMs) from large, out-of-core training datasets. Current strategies for large-scale learning fall into one of two camps; batch algorithms which solve the learning problem given a finite datasets, and online algorithms which can process out-of-core datasets. The former typically requires datasets small enough to fit in memory. The latter is often phrased as a stochastic optimization problem; such algorithms enjoy strong theoretical properties but often require manual tuned annealing schedules, and may converge slowly for problems with large output spaces (e.g., structural SVMs). We discuss an algorithm for an "intermediate" regime in which the data is too large to fit in memory, but the active constraints (support vectors) are small enough to remain in memory. In this case, one can design rather efficient learning algorithms that are as stable as batch algorithms, but capable of processing out-of-core datasets. We have developed such a MATLAB-based solver and used it to train a collection of recognition systems for articulated pose estimation, facial analysis, 3D object recognition, and action classification, all with publicly-available code. This writeup describes the solver in detail.

研究の動機と目的

• メモリに収まらないデータセット上で構造的SVMを学習する課題に対処し、バッチ学習とオンライン学習のギャップを埋める。
• バッチ法の安定性と収束特性を維持しながら、ストリーミング形式でデータを処理できるソルバを開発する。
• 最小限のメモリオーバーヘッドで、線形SVM（構造的および隠れSVMを含む）を外部主記憶領域のデータセット上で効率的に学習可能にする。
• 収束速度とモデル品質の向上を目的として、データアクセスと最適化の間で適応的スケジューリングを導入する。
• より広範な適用性を実現するため、最適化フレームワークに柔軟な正則化および非負制約をサポートする。

提案手法

• liblinearの高速二重座標降下アルゴリズムを一般化されたSVM定式化（構造的および隠れSVMを含む）に対応できるように変更する。
• ソルバを部分的にオンラインな運用モードに変更し、メモリ内バッチでデータを処理しながらも、グローバル収束を維持する。
• 各新しい最適化バッチの開始時に、事前に計算された解をホットスタートとして使用し、1イテレーションあたりのコストを顕著に削減する。
• 双対ギャップの上界と下界を維持し、新しいデータの探索と既存データの最適化の間で最適なトレードオフを導く。
• QP定式化を一般化し、1例あたり複数の制約に共通のスラック変数を導入できるようにし、巨大な出力空間の効率的処理を可能にする。
• 二値分類、多値分類、回帰、構造的SVM、および隠れSVMといったさまざまなSVMの変種を、共通の双対QP定式化を用いて統一的な最適化フレームワークに統合する。

実験結果

リサーチクエスチョン

• RQ1 外部主記憶領域のデータセット上で構造的SVMを学習するために、二重座標降下法をどのように適応可能にできるか？ また、バッチ法の収束性と安定性を保持できるか？
• RQ2 過去の解からのホットスタートは、大規模学習における反復的最適化の効率をどのように向上させるか？
• RQ3 オンライン環境において、データアクセスと最適化のバランスを最適化する戦略は何か？ これにより収束がどのように加速されるか？
• RQ4 出力空間が指数関数的に巨大な問題において、共有スラック変数を効果的に使用して損失の増大を制御する方法は何か？
• RQ5 提案手法は、非負制約および柔軟な正則化をSVM学習に統合できるか？

主な発見

• 提案されたソルバは、バッチ最適化とオンラインデータ処理を組み合わせることで、大規模な構造的SVM問題において安定的かつ高速に収束する。
• 過去の解を用いたホットスタートにより、各新しいバッチの計算コストが削減され、効率的な段階的学習が可能になる。
• 双対ギャップの境界に基づく適応的スケジューリング戦略は、固定またはランダムスケジューリングに比べて収束が速い。
• 本手法は、アーチレートドポーズ推定、顔認識、3次元オブジェクト認識、アクション分類といった多様な認識システムを、大規模な外部主記憶領域データセット上で効果的に学習可能である。
• 共通のQP定式化を用いることで、二値分類、多値分類、回帰、構造的SVM、および隠れ構造的SVMといった複数のSVMの変種を統一的にサポートする。
• 実験結果から、特に出力空間が大きな問題において、標準的なオンラインアルゴリズムに比べて収束速度とモデル品質の両方が優れていることが示された。