[論文レビュー] Solving Multiclass Learning Problems via Error-Correcting Output Codes

Tom Dietterich, Ghulum Bakiri|arXiv (Cornell University)|Jan 1, 1995

Machine Learning and Algorithms参考文献 1被引用数 10

ひとこと要約

この論文は、クラスラベルを二値コードに符号化することで、多クラス学習問題を解くための新規手法である誤り訂正出力符号（ECOC）を導入している。これにより、二値分類器が複雑な多クラスの区別を学習できる。従来のC4.5やバックプロパゲーションと比較して一般化性能が著しく向上し、トレーニングサイズ、コード割り当て、過学習抑止技術の変化に対しても頑健である。

ABSTRACT

Multiclass learning problems involve finding a definition for an unknown function f(x) whose range is a discrete set containing k &gt 2 values (i.e., k ``classes''). The definition is acquired by studying collections of training examples of the form [x_i, f (x_i)]. Existing approaches to multiclass learning problems include direct application of multiclass algorithms such as the decision-tree algorithms C4.5 and CART, application of binary concept learning algorithms to learn individual binary functions for each of the k classes, and application of binary concept learning algorithms with distributed output representations. This paper compares these three approaches to a new technique in which error-correcting codes are employed as a distributed output representation. We show that these output representations improve the generalization performance of both C4.5 and backpropagation on a wide range of multiclass learning tasks. We also demonstrate that this approach is robust with respect to changes in the size of the training sample, the assignment of distributed representations to particular classes, and the application of overfitting avoidance techniques such as decision-tree pruning. Finally, we show that---like the other methods---the error-correcting code technique can provide reliable class probability estimates. Taken together, these results demonstrate that error-correcting output codes provide a general-purpose method for improving the performance of inductive learning programs on multiclass problems.

研究の動機と目的

• 入力からk ≥ 2個の離散的クラスへの写像を定めるターゲット関数を扱う多クラス学習の課題に対処する。
• 直接的な多クラスアルゴリズム（例：C4.5、CART）および多クラス設定下での標準的二値分類アプローチの限界を克服する。
• 誤り訂正コードに基づく分散出力表現を活用することで、多クラス学習の一般化性能と頑健性を向上させる。
• ECOCがクラス確率を信頼性高く推定できることを示し、実用的導入に適していることを確認する。

提案手法

• k個のクラスそれぞれを長さmの固有の二値コードワードとして表現する。ここでm ≥ log₂kである。誤り訂正コードを用いる。
• 各々のビット位置におけるコードワードの「1」と「0」を区別するように、m個の二値分類器を訓練する。
• m個の二値出力の多数決を用いて最終的な予測クラスを復号化し、一部の分類器が誤った場合でも誤り訂正機能を有する。
• 各二値分類器を、変換されたトレーニングデータ上で標準的な二値学習アルゴリズム（例：C4.5、バックプロパゲーション）を用いて訓練する。
• コード設計において、コードワード間のハミング距離を最大にするように保証することで、誤り訂正能力と一般化性能を向上させる。
• 出力ベクトルと最も近い（ハミング距離が最小の）コードワードを持つクラスを選択する復号ルールを用いて予測を統合する。

実験結果

リサーチクエスチョン

• RQ1 誤り訂正出力符号は、標準的手法と比較して多クラス学習アルゴリズムの一般化性能を向上させることができるか？
• RQ2 ECOC手法は、トレーニングデータサイズ、コード割り当て、過学習抑止技術の変化に対してどれほど頑健か？
• RQ3 ECOCは、他の手法と同等の品質で多クラス予測の確率推定を信頼性高く提供できるか？
• RQ4 誤り訂正コードを用いた分散二値表現の使用は、1対多または1対1戦略と比較して優れた性能をもたらすか？
• RQ5 ECOCフレームワークは、決定木やニューラルネットワークを含む幅広いベース学習アルゴリズムと互換性を持つか？

主な発見

• ECOCは、C4.5およびバックプロパゲーションの両方の一般化性能を、広範な多クラスタスクにおいて著しく向上させる。
• この手法はトレーニングサンプルサイズの変化に対しても頑健であり、さまざまなデータスケールで一貫した性能を示す。
• コードワードのクラスへの割り当て方の違いに対しても性能が安定しており、この文脈ではコード設計に敏感でないことが示された。
• 意思決定木の剪定などの過学習回避技術と組み合わせても、ECOCは強い性能を維持する。
• このアプローチは信頼性高くクラス確率推定を生成でき、標準的な多クラス手法と同等の品質である。
• 誤り訂正コードは、多クラス問題における誘導学習の一般的で効果的な解決策を提供する。