[論文レビュー] An Overview and a Benchmark of Active Learning for One-Class Classification.

Holger Trittenbach, Adrian Englhardt+1 more|arXiv (Cornell University)|Aug 14, 2018

Pneumonia and Respiratory Infections被引用数 3

ひとこと要約

本稿では、ワンクラス分類におけるアクティブラーニング手法の包括的ベンチマークと分類を提示し、多様なシナリオにおいてその性能を評価している。手法の有効性は、根本的な仮定とカテゴリに強く依存しており、ランダムサンプリングを上回るケースは限定的であることが示され、明確な仮定と分類に基づいた構造的な手法選択の推奨がなされている。

ABSTRACT

Active learning stands for methods which increase classification quality by means of user feedback. An important subcategory is active learning for one-class classifiers, i.e., for imbalanced class distributions. While various methods in this category exist, selecting one for a given application scenario is difficult. This is because existing methods rely on different assumptions, have different objectives, and often are tailored to a specific use case. All this calls for a comprehensive comparison, the topic of this article. This article starts with a categorization of the various methods. We then propose ways to evaluate active learning results. Next, we run extensive experiments to compare existing methods, for a broad variety of scenarios. One result is that the practicality and the performance of an active learning method strongly depend on its category and on the assumptions behind it. Another observation is that there only is a small subset of our experiments where existing approaches outperform random baselines. Finally, we show that a well-laid-out categorization and a rigorous specification of assumptions can facilitate the selection of a good method for one-class classification.

研究の動機と目的

• 多様な仮定と目的があるため、ワンクラス分類における適切なアクティブラーニング手法の選択の課題に対処すること。
• ワンクラス設定に特化した、既存のアクティブラーニング手法の体系的分類を提供すること。
• 異なるシナリオ間で手法の性能を公平に比較できる標準化された評価プロトコルを構築すること。
• 不均衡なワンクラス設定において、アクティブラーニング手法がランダムサンプリングを上回る条件を特定すること。
• 手法の性能がその根本的仮定とカテゴリに関連することを明確にすることで、情報に基づいた手法選択を促進すること。

提案手法

• アクティブラーニング手法の根本的仮定と目的に基づき、ワンクラス分類用の既存手法を分類すること。
• 複数のデータセットとシナリオにわたる手法の性能を評価するための標準化された評価フレームワークを設計すること。
• 異なるデータ分布と不均衡度のワンクラス分類問題の広範な範囲において、広範な実証実験を実施すること。
• すべての実験設定でランダムサンプリングベースラインと比較して手法の性能を評価すること。
• 手法のカテゴリ、仮定、観察された性能結果の関係を分析すること。
• 厳密な実験設計により、手法固有の仮定が分類品質の向上に与える影響を分離して評価すること。

実験結果

リサーチクエスチョン

• RQ1 ワンクラス分類におけるアクティブラーニング手法の異なるカテゴリは、多様な現実世界のシナリオでどのように性能を発揮するか？
• RQ2 ワンクラス設定において、既存のアクティブラーニング手法はランダムサンプリングと比較して、どの程度分類性能を向上させるか？
• RQ3 手法の根本的仮定が、ワンクラス分類タスクにおける実用的有効性にどのように影響するか？
• RQ4 手法の構造的分類は、効果的なアクティブラーニング戦略の選択を向上させることができるか？
• RQ5 ワンクラス問題において、アクティブラーニングがランダムサンプリングよりも顕著な性能向上をもたらす条件は何か？

主な発見

• ワンクラス分類におけるアクティブラーニング手法の性能と実用性は、その根本的仮定と手法カテゴリに強く依存している。
• 多数の実験的シナリオにおいて、既存のアクティブラーニング手法はランダムサンプリングのベースラインを顕著に上回らない。
• 評価された実験のわずかなサブセットでのみ、アクティブラーニングがランダム選択を上回る明確な利点が示された。
• 明確に定義された手法の分類と、仮定の明示的記述を組み合わせることで、より情報に基づいた的確な手法選択が可能になる。
• ワンクラス問題におけるアクティブラーニングの有効性は、文脈に強く依存しており、一貫して単純なサンプリング戦略を上回るとは限らない。