[論文レビュー] Solving for multi-class: a survey and synthesis

Peter Mills|arXiv (Cornell University)|Sep 16, 2018

Face and Expression Recognition参考文献 29被引用数 4

ひとこと要約

本論文は、SVMを用いて8つのデータセットで8つの分割法を評価することで、多クラス分類戦略を体系的に記述・合成する再帰的制御言語を提案する。主な発見は、1対1が一般的に最も優れているが、特に順序付きクラスにおける隣接分割のようなデータ固有の設定が、不確実性係数を最大36%向上（絶対値で0.016の増加）させることを示しており、一様なアプローチではなくデータ駆動型設計の価値を裏付けている。

ABSTRACT

Many of the best statistical classification algorithms are binary classifiers that can only distinguish between one of two classes. The number of possible ways of generalizing binary classification to multi-class increases exponentially with the number of classes. There is some indication that the best method will depend on the dataset. Hence, we are particularly interested in data-driven solution design, whether based on prior considerations or on empirical examination of the data. Here we demonstrate how a recursive control language can be used to describe a multitude of different partitioning strategies in multi-class classification, including those in most common use. We use it both to manually construct new partitioning configurations as well as to examine those that have been automatically designed. Eight different strategies were tested on eight different datasets using a support vector machine (SVM) as the base binary classifier. Numerical results suggest that a one-size-fits-all solution consisting of one-versus-one is appropriate for most datasets. Three datasets showed better accuracy using different methods. The best solution for the most improved dataset exploited a property of the data to produce an uncertainty coefficient 36\% higher (0.016 absolute gain) than one-vs.-one. For the same dataset, an adaptive solution that empirically examined the data was also more accurate than one-vs.-one while being faster.

研究の動機と目的

• 2値分類器が2クラスの決定に限定される状況において、最適な多クラス分類戦略を選択する課題に取り組むこと。
• 多クラス分類における多様な分割戦略を一元的に記述するフレームワークを構築すること。
• 異なる分割法が分類精度、確率推定、計算効率に与える影響を実験的に評価すること。
• 1対1のような標準的手法よりも、データ固有または適応的設定が優れる状況を特定すること。

提案手法

• クラスの分割戦略（1対1、1対他、カスタム意思決定木など）を形式的に記述するための再帰的制御言語を導入する。
• 訓練フェーズ（クラスラベルを±1にマッピング）と復元フェーズ（2値出力から多クラス確率を再構築）の両方をモデル化する。
• 多クラスの条件付き確率は、確率論と整合性を持つ制約付き線形最小二乗法により推定する。
• 非階層的（例：1対1）および階層的構成をサポートし、誤り訂正符号における確率の最小二乗法による解法を実装する。
• 実験的評価では、SVMを基本となる2値分類器として用い、意思決定関数に対してロジスティック回帰による確率の再キャリブレーションを適用する。
• データ構造の実証的分析（例：連続変数の離散化におけるクラス順序の同定）を基に、適応的設計を生成する。

実験結果

リサーチクエスチョン

• RQ1 一元的な制御言語は、多様な多クラス分類戦略の記述と生成を効果的に行えるか？
• RQ2 1対1のような一様なアプローチが多様なデータセット全体で最適であるか、それともデータ固有の設定が顕著な向上をもたらすか？
• RQ3 順序付きクラスのための隣接グループ化のようなデータ駆動型分割戦略は、分類精度および確率推定をどの程度向上させるか？
• RQ4 精度と計算コストの観点から、階層的構成と非階層的構成はどのように比較されるか？
• RQ5 実証的設計に基づく適応的意思決定木は、固定または任意の木構造よりも性能を向上させるか？

主な発見

• 1対1は、大多数のデータセットにおいて他の標準的手法を常に上回り、デフォルト戦略としての堅牢性を確認した。
• 湿度データセット（クラスが連続値の離散化により表される）では、隣接分割が1対1よりも不確実性係数を36%高く（絶対値で0.016の増加）した。
• 同じ湿度データセットに対して、実証的設計に基づく適応的ソリューションは1対1を上回る精度を達成するとともに、処理が速く、実証的設定の利点を示した。
• 都市データセットでは、隣接分割が優れた性能を示し、他のデータセットでも利用可能なクラスの順序性が内在している可能性を示唆した。
• 実証的設計に基づく意思決定木は、精度を向上させるとともに、トレーニングおよび推論時間を短縮したが、データセットによって性能の差が見られた。
• 誤り訂正符号の非階層的最小二乗法による解法が、再帰的階層的復元よりわずかに優れていた。これは、情報の保持度が高いためと推定される。