[论文解读] AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning

Yuening Li, Zhengzhang Chen+5 more|arXiv (Cornell University)|Jun 19, 2020

Anomaly Detection Techniques and Applications参考文献 65被引用 15

一句话总结

AutoOD 是一种新颖的自动化异常检测框架，采用好奇心引导的强化学习与自我模仿学习，在无监督设置下搜索最优的深度神经网络架构。它在基准数据集上优于手工设计的模型和传统的神经架构搜索（NAS）方法，有效解决了异常检测中的不稳定性、局部最优解和低样本效率问题。

ABSTRACT

Outlier detection is an important data mining task with numerous practical applications such as intrusion detection, credit card fraud detection, and video surveillance. However, given a specific complicated task with big data, the process of building a powerful deep learning based system for outlier detection still highly relies on human expertise and laboring trials. Although Neural Architecture Search (NAS) has shown its promise in discovering effective deep architectures in various domains, such as image classification, object detection, and semantic segmentation, contemporary NAS methods are not suitable for outlier detection due to the lack of intrinsic search space, unstable search process, and low sample efficiency. To bridge the gap, in this paper, we propose AutoOD, an automated outlier detection framework, which aims to search for an optimal neural network model within a predefined search space. Specifically, we firstly design a curiosity-guided search strategy to overcome the curse of local optimality. A controller, which acts as a search agent, is encouraged to take actions to maximize the information gain about the controller's internal belief. We further introduce an experience replay mechanism based on self-imitation learning to improve the sample efficiency. Experimental results on various real-world benchmark datasets demonstrate that the deep model identified by AutoOD achieves the best performance, comparing with existing handcrafted models and traditional search methods.

研究动机与目标

• 解决无监督异常检测中自动化、高效且稳定的神经架构搜索缺乏的问题。
• 克服异常检测中数据不平衡、搜索过程不稳定以及样本效率低下的挑战。
• 设计一个定制化的搜索空间，不仅包含模型架构超参数，还涵盖异常定义假设及其对应的损失函数。
• 通过缓解传统 NAS 中权重共享带来的局部最优解与归纳偏差，稳定搜索过程。
• 通过自我模仿学习与经验回放提升样本效率，加速收敛并提升模型性能。

提出的方法

• 提出一种好奇心引导的搜索策略，通过最大化控制器对其内部信念的信息增益，鼓励其探索搜索空间中尚未探索的区域。
• 采用基于强化学习的控制器，结合循环神经网络，从分层的通用搜索空间中采样架构。
• 引入一种结合经验回放的自我模仿学习机制，通过重用高性能的搜索轨迹提升样本效率。
• 定义一个微观搜索空间，包含全局模型设置与每层的超参数（如卷积核大小、滤波器数量），以及异常定义策略及其目标函数。
• 基于异常检测性能（如 AUC）设计奖励函数，指导控制器在离散且高维的搜索空间中进行探索。
• 在搜索过程中采用权重共享以高效训练子模型，同时通过好奇心驱动的探索缓解其偏差。

实验结果

研究问题

• RQ1 如何有效将神经架构搜索适配到无标签的无监督异常检测任务中？
• RQ2 何种搜索空间设计能够有效探索架构配置与异常定义策略的组合？
• RQ3 好奇心驱动的探索在不平衡异常检测任务中如何稳定搜索过程并避免过早收敛？
• RQ4 自我模仿学习在自动化异常检测中能在多大程度上提升样本效率？
• RQ5 自动化框架是否能在异常检测基准上超越手工设计的模型与传统 NAS 方法？

主要发现

• AutoOD 在八组真实世界基准数据集上实现了实例级异常检测与像素级缺陷分割的最先进性能。
• 通过引入自我模仿学习与经验回放，框架显著提升了样本效率，减少了所需的训练迭代次数。
• 好奇心引导的搜索策略有效避免了局部最优解，并降低了权重共享带来的偏差，从而实现更鲁棒且多样化的架构发现。
• 在搜索空间中引入异常定义假设及其目标函数，使发现的模型更契合底层数据分布。
• 在多种数据集上，AutoOD 在 AUC 与 F1 分数上均优于手工设计的深度模型与传统 NAS 方法。
• 大量消融实验验证了所提出的搜索空间设计与自我模仿机制对性能提升的关键作用。