[論文レビュー] Multiclass Learning Approaches: A Theoretical Comparison with Implications

Amit Daniely, Sivan Sabato+1 more|arXiv (Cornell University)|May 29, 2012

Machine Learning and Algorithms参考文献 7被引用数 15

ひとこと要約

本論文は、VC理論を用いて、一対多法、すべての対、木ベース分類器、誤り訂正出力コード（ECOC）、多値SVMの5つの多値学習手法の近似誤差と推定誤差を理論的に比較する。多値SVMは、一般に低い近似誤差を達成し、標本サイズが次元とクラス数に対して大きい場合、特に他の手法が実現可能でない場合に優れていることが示された。

ABSTRACT

We theoretically analyze and compare the following five popular multiclass classification methods: One vs. All, All Pairs, Tree-based classifiers, Error Correcting Output Codes (ECOC) with randomly generated code matrices, and Multiclass SVM. In the first four methods, the classification is based on a reduction to binary classification. We consider the case where the binary classifier comes from a class of VC dimension $d$, and in particular from the class of halfspaces over $\ eals^d$. We analyze both the estimation error and the approximation error of these methods. Our analysis reveals interesting conclusions of practical relevance, regarding the success of the different approaches under various conditions. Our proof technique employs tools from VC theory to analyze the \\emph{approximation error} of hypothesis classes. This is in sharp contrast to most, if not all, previous uses of VC theory, which only deal with estimation error.

研究の動機と目的

• 一対多法、すべての対、木ベース分類器、ランダムコードを用いたECOC、多値SVMの5つの多値学習手法の近似誤差と推定誤差を理論的に比較すること。
• 基本となる2値分類器（特にVC次元dの半空間）の選択が、多値手法の性能に与える影響を分析すること。
• 近似誤差と推定誤差に分解した誤差の観点から、各手法がどのような条件下で好ましいかを特定すること。
• VC理論を近似誤差の分析に応用できることを確立し、推定誤差の分析に限定して使われてきた伝統的な用途を超えた新規応用を示すこと。
• データセットのサイズ、次元、クラス数に基づいた手法選択の実用的インサイトを提供すること。

提案手法

• 多値還元手法によって誘導される仮説クラスの近似誤差と推定誤差をVC理論を用いて分析する。
• 有限のラベル付きサンプルを構築し、ラベル写像上の一様収束議論を用いることで、近似誤差をバインドする新しい技術を適用する。
• 特に木構造およびECOCベースの手法の仮説クラスの複雑さを下界するため、Natarajan次元の一般化を用いる。
• 包含関係と複雑さの指標（例えば、誘導される多値クラスのVC次元）を用いて、各手法の仮説クラスを比較する。
• さまざまな還元法における、結果として得られる多値仮説クラスの成長関数およびNatarajan次元の上界と下界を導出する。
• 半空間のクラスがVC次元d+1を持つことを利用して基底ケースとし、VC次元dの任意のクラスへと結果を拡張する。

実験結果

リサーチクエスチョン

• RQ1 同じ2値分類器の仮定のもとで、一対多法、すべての対、木ベース分類器、ECOC、多値SVMの近似誤差と推定誤差はどのように比較できるか？
• RQ2 近似誤差の観点から、多値SVMはどのような条件下で他の還元ベース手法よりも好ましいか？
• RQ3 VC理論は、推定誤差の分析に限定して使われてきたが、多値学習における近似誤差の分析に対しても意味的に適用可能か？
• RQ4 異なる還元フレームワークにおいて、基本となる2値仮説クラスの複雑さと、それによって得られる多値仮説クラスの複雑さの関係は何か？
• RQ5 クラス数kと入力次元dは、誤差バウンドの観点から、これらの手法の相対的性能にどのように影響を与えるか？

主な発見

• 訓練サンプルサイズがΩ~(dk)に達する場合、多値SVMは近似誤差が低いことから、一対多法や木ベース分類器よりも好ましい。
• 実現可能ケース（近似誤差がゼロ）では、仮説クラスの厳密包含関係のため、多値SVMは一対多法や木ベース分類器が達成できない場合でも完全分類を達成できる。
• k > dの場合、ランダム木を用いた木ベース分類器やランダムコードを用いたECOCは、高い近似誤差を示すため、強く推奨されない。
• サンプルサイズがΩ~(dk²)を超えると、推定誤差の性質が優れていることから、すべての対法が好ましくなる。
• 円周上に9つのクラスが配置された2次元設定では、多値SVMと一対多法は近似誤差がゼロであるが、木ベース分類器やランダムコードECOCは通常そうならない。
• 低次元設定（例：d=2）であっても、クラスが必要な対ごとの構成で線形分離可能でない場合、一対多法は近似誤差がゼロにならないことがあるが、多値SVMはそうならない。