[论文解读] An Overview and a Benchmark of Active Learning for One-Class Classification.

Holger Trittenbach, Adrian Englhardt+1 more|arXiv (Cornell University)|Aug 14, 2018

Pneumonia and Respiratory Infections被引用 3

一句话总结

本文提出了一套全面的基准测试与一类分类主动学习方法的分类体系，评估了其在多样化场景下的性能表现。研究结果表明，方法的有效性在很大程度上取决于其底层假设与类别划分，仅有少数情况优于随机采样，因此主张基于明确假设与分类体系的结构化方法选择。

ABSTRACT

Active learning stands for methods which increase classification quality by means of user feedback. An important subcategory is active learning for one-class classifiers, i.e., for imbalanced class distributions. While various methods in this category exist, selecting one for a given application scenario is difficult. This is because existing methods rely on different assumptions, have different objectives, and often are tailored to a specific use case. All this calls for a comprehensive comparison, the topic of this article. This article starts with a categorization of the various methods. We then propose ways to evaluate active learning results. Next, we run extensive experiments to compare existing methods, for a broad variety of scenarios. One result is that the practicality and the performance of an active learning method strongly depend on its category and on the assumptions behind it. Another observation is that there only is a small subset of our experiments where existing approaches outperform random baselines. Finally, we show that a well-laid-out categorization and a rigorous specification of assumptions can facilitate the selection of a good method for one-class classification.

研究动机与目标

• 解决由于假设与目标多样化而导致的一类分类主动学习方法选择难题。
• 为一类分类场景量身定制，对现有主动学习方法进行系统性分类。
• 制定标准化的评估协议，以公平比较不同场景下方法的性能表现。
• 识别在数据不平衡、一类分类场景中，主动学习方法优于随机采样的条件。
• 通过将方法性能与底层假设及类别关联，促进更明智的方法选择。

提出的方法

• 基于其底层假设与目标，对现有的一类分类主动学习方法进行分类。
• 设计标准化的评估框架，以在多个数据集与场景下评估方法性能。
• 在广泛的一类分类问题上开展大量实证实验，涵盖不同数据分布与不平衡程度。
• 在所有实验设置中，将方法性能与随机采样基线进行对比。
• 分析方法类别、假设与实际性能结果之间的关系。
• 采用严谨的实验设计，隔离方法特定假设对分类质量提升的影响。

实验结果

研究问题

• RQ1 在多样化的真实世界场景中，一类分类主动学习方法的不同类别表现如何？
• RQ2 在一类分类场景中，现有主动学习方法相较于随机采样在多大程度上提升了分类性能？
• RQ3 方法的底层假设在多大程度上影响其在一类分类任务中的实际有效性？
• RQ4 结构化的分类体系能否提升有效主动学习策略的选择？
• RQ5 在一类分类问题中，何种条件会导致主动学习相比随机采样带来显著性能提升？

主要发现

• 一类分类主动学习方法的性能与实用性，强烈受其底层假设与方法类别的影响。
• 在大多数实验场景中，现有主动学习方法并未显著优于随机采样基线。
• 仅有极少数评估实验显示出主动学习相对于随机选择的明确优势。
• 通过明确定义的方法分类体系，结合对假设的清晰说明，可实现更明智且有效的方法选择。
• 一类分类问题中主动学习的有效性高度依赖于具体情境，并非普遍优于简单采样策略。