[論文レビュー] Multi-class SVMs: From Tighter Data-Dependent Generalization Bounds to Novel Algorithms

Yunwen Lei, Ürün Doǧan+2 more|arXiv (Cornell University)|Jun 14, 2015

Machine Learning and ELM参考文献 37被引用数 31

ひとこと要約

本稿では、クラス数にたいして対数的依存性を示す、データに依存する一般化バウンドを備えた新しい $μat{p}$-ノルム多値SVMを提案する。これは、従来の線形的または二次的依存性と比較して顕著な改善である。本手法はガウス複雑度解析とフェンケル双対性を活用し、効率的な最適化アルゴリズムを導出し、ベンチマークデータセットにおいて、最先端のCrammer & Singer手法と比較して最大1%の精度向上を達成した。

ABSTRACT

This paper studies the generalization performance of multi-class classification algorithms, for which we obtain, for the first time, a data-dependent generalization error bound with a logarithmic dependence on the class size, substantially improving the state-of-the-art linear dependence in the existing data-dependent generalization analysis. The theoretical analysis motivates us to introduce a new multi-class classification machine based on $\ell_p$-norm regularization, where the parameter $p$ controls the complexity of the corresponding bounds. We derive an efficient optimization algorithm based on Fenchel duality theory. Benchmarks on several real-world datasets show that the proposed algorithm can achieve significant accuracy gains over the state of the art.

研究の動機と目的

• 画像アノテーションやWeb広告など、実世界の応用において、特にクラス数が多い状況での既存の多値分類器の一般化性能の低さを是正すること。
• 理論的バウンドと実用的アルゴリズムのギャップを埋めるために、クラス数に対して非線形（特にサブ線形）にスケーリングする、よりタイトなデータに依存する一般化バウンドを導出すること。
• パラメータ $p$ がモデルの複雑さと一般化行動を制御する $μat{p}$-ノルム正則化に基づく、新しい多値学習マシンを構築すること。
• 提案された $μat{p}$-ノルムSVMフレームワークに対して、フェンケル双対性を用いた効率的な最適化アルゴリズムを設計すること。
• 提案手法が、実世界の多値ベンチマークにおいてCrammer & Singerベースラインを上回ることを経験的に検証すること。

提案手法

• クラス固有の重みベクトルに $μat{p}$-ノルム正則化を適用する新しい多値SVMモデルを提案し、$p=2$ の場合にCrammer & Singer手法を一般化する。
• ガウス複雑度を用いた新しいデータに依存する一般化バウンドを導出し、従来のラデマッハーベースの解析とは異なり、多値分類器における成分間の結合性を捉える。
• フェンケル双対性を用いて双対最適化問題を導出し、双対座標降下法により効率的な学習を可能にする。
• 最大構造的関数クラスにおけるガウス複雑度に関する構造的結果を導入し、成分間の結合性を保持することで、よりタイトなバウンドを達成する。
• ハイパーパrameter $C$ と $p$ のための2段階グリッドサーチを実施し、最適な $p$ 値の周辺で精密チューニングを行うことで、堅牢なモデル選択を実現する。
• C++でアルゴリズムを実装し、3つの標準ベンチマーク（Sector、News 20、Rcv1）で評価した。ハイパーパrameterチューニングには5分割交差検証を用いた。

実験結果

リサーチクエスチョン

• RQ1 多値分類のデータに依存する一般化バウンドを、クラス数にたいしてサブ線形的、特に対数的依存性を示すように改善できるか？
• RQ2 ガウス複雑度解析を用いて多値分類器内の成分結合性を活用することで、従来のラデマッハーベースの手法よりもタイトな一般化バウンドが得られるか？
• RQ3 $μat{p}$-ノルム正則化を施した多値SVMモデルが、Crammer & Singerベースラインを上回るテスト精度を達成できるか、特にクラス数が多い状況下で？
• RQ4 フェンケル双対性に基づく提案された最適化アルゴリズムは、大規模な多値問題に対しても効率的かつスケーラブルか？
• RQ5 ハイパーパrameter $p$ は、モデルの複雑さと一般化性能のバランスを効果的に調整できるか？

主な発見

• Sectorデータセットでは、Crammer & Singerベースラインと比較して0.31%の精度向上を達成した。
• News 20データセットでは、最先端手法と比較して、提案された $μat{p}$-ノルムSVMが1.07%の精度向上を達成した。
• Rcv1データセットでは、Crammer & Singerモデルと比較して、提案手法がテスト精度を0.53%向上させた。
• ガウス複雑度を用いて導出した一般化バウンドは、クラス数にたいして対数的依存性を示し、従来のデータに依存するバウンドの線形依存性と比較して顕著な改善である。
• 理論的解析から、正則化の種別、特に $μat{p}$-ノルムにおける $p$ の値が、モデルの複雑さと一般化性能を支配的に制御することが明らかになった。
• 経験的結果から、提案アルゴリズムが多様な実世界データセットにおいて一貫してCrammer & Singer手法を上回ることが確認され、最大1%の向上が得られた。