[论文解读] A Review of Open-World Learning and Steps Toward Open-World Learning Without Labels

Mohsen Jafarzadeh, Akshay Raj Dhamija+4 more|arXiv (Cornell University)|Nov 25, 2020

Anomaly Detection Techniques and Applications被引用 12

一句话总结

本文将无监督开放世界学习（OWL）形式化，无需标签，提出一个框架，使自主智能体能够从无标签数据流中检测、表征、管理并逐步学习新类别。该研究提出了七种基于改进的最先进算法的基线方法，表明在开放世界场景中，结合监督与无监督特征可获得最佳性能。

ABSTRACT

In open-world learning, an agent starts with a set of known classes, detects, and manages things that it does not know, and learns them over time from a non-stationary stream of data. Open-world learning is related to but also distinct from a multitude of other learning problems and this paper briefly analyzes the key differences between a wide range of problems including incremental learning, generalized novelty discovery, and generalized zero-shot learning. This paper formalizes various open-world learning problems including open-world learning without labels. These open-world problems can be addressed with modifications to known elements, we present a new framework that enables agents to combine various modules for novelty-detection, novelty-characterization, incremental learning, and instance management to learn new classes from a stream of unlabeled data in an unsupervised manner, survey how to adapt a few state-of-the-art techniques to fit the framework and use them to define seven baselines for performance on the open-world learning without labels problem. We then discuss open-world learning quality and analyze how that can improve instance management. We also discuss some of the general ambiguity issues that occur in open-world learning without labels.

研究动机与目标

• 将无标签的开放世界学习形式化为一个独立且可扩展的问题，适用于实时自主系统。
• 区分开放世界学习与相关领域（如开放集识别、增量学习和零样本学习）之间的本质差异。
• 设计一个通用框架，整合新颖性检测、聚类、实例管理与增量学习，以实现无监督开放世界适应。
• 使用专为无监督开放世界学习设计的新度量标准，对性能进行评估与基准测试。
• 识别现有评估度量的局限性，并倡导未来系统中采用人工验证的标签。

提出的方法

• 提出一个功能框架，其中智能体通过特征提取、推理、新颖性检测和基于缓冲区的实例管理处理数据流。
• 引入一种缓冲机制，仅当‘未知’类别的概率超过阈值 τ 时，才存储未知实例。
• 结合无监督聚类（Finch）与基于SVM的度量进行质量评估，以筛选出有意义的新类别。
• 将六种现有增量学习算法——ONCM、ONNO、OGMM、OCBCL、OSCAIL、MEVM——扩展为真正的开放世界学习者（TOWL），以支持无监督学习。
• 使用250个检测到的新颖实例作为聚类启动阈值，每类20个实例作为新类实例化的标准，以在学习速度与聚类质量之间取得平衡。
• 应用一种新评估度量标准来评估开放世界性能，同时承认其局限性，并强调需要人工验证的真实标签。

实验结果

研究问题

• RQ1 无标签开放世界学习与开放集识别、增量学习及广义零样本学习在本质上存在哪些根本性差异？
• RQ2 构建一个可扩展、自主的系统，以实现在流数据中无监督发现并增量学习新类别的关键组件是什么？
• RQ3 现有增量学习算法能否通过模块化集成新颖性检测与聚类，被适配以支持无监督开放世界学习？
• RQ4 所提出的评估度量标准在捕捉真实开放世界学习性能方面有多有效？其局限性是什么？
• RQ5 在无监督开放世界学习中，学习速度与聚类质量之间的权衡关系如何？如何实现优化？

主要发现

• 所提出的框架成功使自主智能体能够在无需语义标签的情况下，从无标签数据流中检测、管理并学习新类别。
• 表现最佳的TOWL配置结合了监督与无监督特征，优于纯无监督方法。
• 250个新颖实例的阈值有效用于启动聚类，而每类20个实例在学习速度与聚类质量之间提供了实际可行的平衡。
• 仅靠评估度量无法有效区分高质量聚类与噪声聚类，例如‘树干’与‘树冠’被错误地识别为不同类别。
• 在不同数据划分下，结果之间无显著统计差异（p ≥ 0.20），表明对数据划分变化具有鲁棒性。
• 人工验证的标签对于精确评估至关重要，因为所提出的度量标准在缺乏真实标签验证的情况下，无法可靠匹配人类识别的类别边界。