[论文解读] Classification under Streaming Emerging New Classes: A Solution using Completely Random Trees

Xin Mu, Kai Ming Ting+1 more|arXiv (Cornell University)|May 30, 2016

Data Stream Mining Techniques参考文献 19被引用 14

一句话总结

本文提出 SENCForest，一种专注于无监督异常检测的方法，采用完全随机树来解决流式新兴类别（SENC）问题。通过将新类别检测视为异常检测任务，该方法在检测新兴类别方面优于以分类为中心的基线方法，尤其在无需从头开始重新训练的情况下实现高效模型更新。

ABSTRACT

This paper investigates an important problem in stream mining, i.e., classification under streaming emerging new classes or SENC. The common approach is to treat it as a classification problem and solve it using either a supervised learner or a semi-supervised learner. We propose an alternative approach by using unsupervised learning as the basis to solve this problem. The SENC problem can be decomposed into three sub problems: detecting emerging new classes, classifying for known classes, and updating models to enable classification of instances of the new class and detection of more emerging new classes. The proposed method employs completely random trees which have been shown to work well in unsupervised learning and supervised learning independently in the literature. This is the first time, as far as we know, that completely random trees are used as a single common core to solve all three sub problems: unsupervised learning, supervised learning and model update in data streams. We show that the proposed unsupervised-learning-focused method often achieves significantly better outcomes than existing classification-focused methods.

研究动机与目标

• 解决在新类别随时间不断出现的数据流中保持高分类准确率的挑战。
• 克服现有以分类为中心的方法在早期且准确检测新兴新类别方面的局限性。
• 开发一个统一框架，整合异常检测、分类与模型更新，核心组件为单一的完全随机树。
• 在内存受限条件下，实现无需原始训练集的高效模型更新。
• 在保持对已知类别强分类性能的同时，实现对新兴类别的高检测准确率。

提出的方法

• 使用完全随机树作为无监督异常检测、有监督分类与模型更新的统一核心。
• 通过利用完全随机树的无监督异常检测能力，识别相对于已知类别为异常的实例，从而检测新兴新类别。
• 过滤实例：若实例不属于已知类别的异常，则传递给分类器；否则，将其视为新类别的候选。
• 将检测到的新类别候选存储在缓冲区中，并仅在缓冲区达到容量时更新分类器与检测器。
• 通过调整现有树集成而非从头开始重新训练来执行模型更新，从而实现在流式环境中的快速适应。
• 利用完全随机树在异常检测模式下的固有结构，区分已知类别的异常与真正的新兴新类别。

实验结果

研究问题

• RQ1 以无监督异常检测为核心的方案是否能在数据流中检测新兴新类别方面优于传统以分类为中心的方法？
• RQ2 单一模型核心（完全随机树）是否能有效同时充当无监督异常检测器与有监督分类器？
• RQ3 在部署期间真实类别标签不可用的情况下，该方法在检测准确率与分类性能方面表现如何？
• RQ4 在不从初始训练集重新训练的前提下，模型更新能在多大程度上实现高效？
• RQ5 在内存受限条件下，该方法在具有多个新兴类别的长数据流中扩展性能如何？

主要发现

• SENCForest 在分类准确率与新兴类别检测方面优于八种现有方法，即使在部署过程中未接收真实类别标签。
• 与以分类为中心的方法相比，该方法在新兴新类别的检测准确率上显著更高，后者通常无法早期检测到新类别。
• SENCForest 在包含多个新兴类别的长数据流中保持高性能，包括每周期出现两个新类别的场景。
• 模型更新高效，无需从初始训练集重新训练，从而在内存受限条件下具备良好的可扩展性。
• 使用完全随机树作为统一核心，实现了快速分类与模型调整，使该方法适用于实时数据流处理。
• 实证结果表明，即使新类别与已知类别之间边界不清晰，SENCForest 仍具有鲁棒性，这得益于树在异常检测方面的强大能力。