[論文レビュー] Multiclass Learning with Simplex Coding

Youssef Mroueh, Tomaso Poggio+2 more|arXiv (Cornell University)|Sep 6, 2012

Sparse and Compressive Sensing Techniques参考文献 15被引用数 17

ひとこと要約

本稿では、クラス数に依存しない学習およびチューニングの複雑さを持つ、理論的に一貫性のある正則化手法を可能にする、新しいマルチクラス学習フレームワークとして単体符号化（simplex coding）を導入する。クラスラベルの単体表現を用いた凸最適化により、二値分類の緩和技術を一般化することで、理論的整合性と計算効率を両立し、標準的な one-vs-all 方法よりも精度とスケーラビリティで優れる。

ABSTRACT

In this paper we discuss a novel framework for multiclass learning, defined by a suitable coding/decoding strategy, namely the simplex coding, that allows to generalize to multiple classes a relaxation approach commonly used in binary classification. In this framework, a relaxation error analysis can be developed avoiding constraints on the considered hypotheses class. Moreover, we show that in this setting it is possible to derive the first provably consistent regularized method with training/tuning complexity which is independent to the number of classes. Tools from convex analysis are introduced that can be used beyond the scope of this paper.

研究の動機と目的

• クラス数に依存しない理論的整合性と計算効率を備えたマルチクラス学習手法の不足を解消すること。
• SVM や最小二乗法で一般的に用いられる二値分類の緩和技術を、仮説クラスに制限を課さずにマルチクラス設定に一般化すること。
• 誤差解析と整合性の保証を可能にする符号化／復号化戦略を構築すること。
• 正則化パスの計算とモデルチューニングが、クラス数に依存せずに実行可能であることを示すこと。
• マルチクラス学習にとどまらず、構造予測などに応用可能な凸解析フレームワークを提供すること。

提案手法

• クラスラベルをT次元単体の頂点として表現する単体符号化（simplex coding）を提案し、二値分類の緩和手法をマルチクラスに一般化する。
• 単体符号化出力に基づく凸の代替損失関数（例：最小二乗、SVM、ハンギング）を用い、非凸な分類リスクを置き換える。
• 再生核ヒルベルト空間上での正則化学習問題を定式化し、単体符号化に基づく損失関数を採用することで、凸性と整合性を保証する。
• S-RLS、SC-SVM、SH-SVM などの異なる損失関数に対して、勾配の部分集合に基づく最適化アルゴリズム（バッチおよびオンライン）を導出する。
• 理論的整合性を保証する凸包制約を導入した一貫性のある SC-SVM の変種を提案し、SH-SVM とは異なり理論的整合性を持つ。
• 明示的または暗黙の特徴写像を用いたカーネル法を採用し、固有値分解やカーネル行列ソルバーを用いて効率的な計算を実現する。

実験結果

リサーチクエスチョン

• RQ1 仮説クラスに制限を課さずに、二値分類の緩和技術を一般化するマルチクラス学習フレームワークを構築可能か？
• RQ2 学習およびチューニングの複雑さがクラス数に依存しない正則化学習手法をマルチクラス問題に設計可能か？
• RQ3 制限的な関数クラスの仮定を要しない凸緩和フレームワーク下で、マルチクラス学習のための整合性のある誤差解析を構築可能か？
• RQ4 単体符号化戦略は、標準的な one-vs-all 方法と比べて、精度および計算効率で優れているか？
• RQ5 SC-SVM の定式化における凸包制約の影響は、整合性および性能にどのように現れるか？

主な発見

• 提案された S-LS および SC-SVM 法は、仮説クラスに制限を課さずに理論的整合性を達成し、先行研究における主な限界を克服する。
• 提案された正則化手法の学習およびチューニングの複雑さは、クラス数に依存せず、one-vs-all 法とは異なり線形に増加しない。
• rbf バッチ版 S-LS は Pendigit で 98.17%、Isolet で 97.05%、Letter で 96.48% の精度を達成し、one-vs-all SVM-rbf の性能と同等またはそれを上回る。
• オンライン SC-SVM はオンライン手法の中で最高の結果を示し、Landsat で 75.43%、Isolet で 88.58% を達成し、SH-SVM や S-LS オンラインを上回る。
• rbf-S-LS 法は Landsat で 90.15%、Optdigits で 97.09% の高い性能を示し、さまざまなデータセットで優れた性能を発揮する。
• SC-SVM および S-LS 法は、凸包制約を欠く不整合な SH-SVM よりも顕著に優れており、多数のデータセットで性能が劣る。