[論文レビュー] Active Learning for Cost-Sensitive Classification

Akshay Krishnamurthy, Alekh Agarwal+3 more|arXiv (Cornell University)|Mar 3, 2017

Machine Learning and Algorithms被引用数 18

ひとこと要約

本稿では、誤差コストがクラスごとに異なるコスト感受性多クラス分類の文脈において、ラベルのラベル付け作業を削減するため、潜在的に低コストのラベルのみをクエリするアクティブラーニング手法COALを提案する。ラベル固有のコストを回帰し、有望な候補にのみ注目することで、パッシブおよびアクティブラーニングのベースラインと比較して、テストコストとラベル付け効率に顕著な向上を達成する。任意の回帰族を用いた二乗損失最適化において、強力な理論的保証を有する。

ABSTRACT

We design an active learning algorithm for cost-sensitive multiclass classification: problems where different errors have different costs. Our algorithm, COAL, makes predictions by regressing to each label’s cost and predicting the smallest. On a new example, it uses a set of regressors that perform well on past data to estimate possible costs for each label. It queries only the labels that could be the best, ignoring the sure losers. We prove COAL can be efficiently implemented for any regression family that admits squared loss optimization; it also enjoys strong guarantees with respect to predictive performance and labeling effort. Our experiment with COAL show significant improvements in labeling effort and test cost over passive and active baselines.

研究の動機と目的

• 誤差コストがクラス間で異なるコスト感受性多クラス分類において、ラベル付け作業を軽減する課題に対処すること。
• 冗長または低有望性の高いラベルを避けるように、知的にどのラベルをクエリするかを選択するアクティブラーニングフレームワークを設計すること。
• 二乗損失最適化を用いる任意の回帰族において、予測性能およびラベル付け効率に関する強力な理論的保証を確保すること。
• パッシブおよびアクティブラーニングのベースラインと比較して、テストコストおよびラベル付け作業の観点から優れた実験的性能を示すこと。

提案手法

• COALは、各クラスのコストに回帰し、予測されたコストが最小となるラベルを選択することで、最良のラベルを予測する。
• 新しい例に対して各ラベルのコストを推定するために、過去のデータで訓練された複数の回帰器を用いる。
• 最適なラベルになり得る可能性があるものにのみクエリを制限し、明らかに劣悪な（「確実な負け」）ラベルは無視する。
• COALは、二乗損失最適化をサポートする任意の回帰族を用いて、効率的に実装可能である。
• コストに配慮したアクティブラーニングサンプリングを通じて、予測性能およびラベル付け作業の削減に関する理論的保証を活用する。

実験結果

リサーチクエスチョン

• RQ1 アクティブラーニングは、コスト感受性多クラス分類に効果的に適応可能か？ これによりラベル付け作業が軽減できるか？
• RQ2 どのようにして、明らかに劣悪な選択肢を避けて、最も有望なラベルのみを効率的に特定・クエリすることができるか？
• RQ3 この設定において、予測性能およびラベル付け効率に関する理論的保証はどのようなものとなるか？
• RQ4 実際の応用において、COALはパッシブおよびアクティブラーニングのベースラインと比較して、テストコストおよびラベル付け作業の観点でどのように性能を発揮するか？

主な発見

• COALは、パッシブラーニングおよび既存のアクティブラーニングベースラインと比較して、顕著にラベル付け作業を削減する。
• COALは、パッシブおよびアクティブラーニングのベースラインを上回る低いテストコストを達成しており、コスト感受性評価下でのより優れた予測性能を示している。
• 二乗損失最適化との互換性のおかげで、COALの効率性は異なる回帰族にわたって維持される。
• 潜在的に最適なラベルにのみ注目することで、COALは「確実な負け」ラベルのクエリを回避し、より効率的なラベル付けプロセスを実現している。