[论文解读] Meta-AAD: Active Anomaly Detection with Deep Reinforcement Learning

Daochen Zha, Kwei-Herng Lai+2 more|arXiv (Cornell University)|Sep 16, 2020

Anomaly Detection Techniques and Applications参考文献 36被引用 8

一句话总结

Meta-AAD 提出了一种基于深度强化学习的元策略，用于主动异常检测，通过选择实例进行人工查询来优化长期性能，在24个基准数据集上显著优于贪婪重排序策略和无监督基线方法。该框架学习了一个可迁移的查询策略，在无需对新数据重新训练的情况下，平衡了短期与长期奖励。

ABSTRACT

High false-positive rate is a long-standing challenge for anomaly detection algorithms, especially in high-stake applications. To identify the true anomalies, in practice, analysts or domain experts will be employed to investigate the top instances one by one in a ranked list of anomalies identified by an anomaly detection system. This verification procedure generates informative labels that can be leveraged to re-rank the anomalies so as to help the analyst to discover more true anomalies given a time budget. Some re-ranking strategies have been proposed to approximate the above sequential decision process. Specifically, existing strategies have been focused on making the top instances more likely to be anomalous based on the feedback. Then they greedily select the top-1 instance for query. However, these greedy strategies could be sub-optimal since some low-ranked instances could be more helpful in the long-term. In this work, we propose Active Anomaly Detection with Meta-Policy (Meta-AAD), a novel framework that learns a meta-policy for query selection. Specifically, Meta-AAD leverages deep reinforcement learning to train the meta-policy to select the most proper instance to explicitly optimize the number of discovered anomalies throughout the querying process. Meta-AAD is easy to deploy since a trained meta-policy can be directly applied to any new datasets without further tuning. Extensive experiments on 24 benchmark datasets demonstrate that Meta-AAD significantly outperforms the state-of-the-art re-ranking strategies and the unsupervised baseline. The empirical analysis shows that the trained meta-policy is transferable and inherently achieves a balance between long-term and short-term rewards.

研究动机与目标

• 通过引入人工反馈来解决异常检测中高误报率的问题。
• 克服仅关注即时性能的贪婪查询选择策略所带来的次优性问题。
• 在主动异常检测中建模长期性能，其中查询的未来收益不确定且难以量化。
• 开发一种无需在新数据集上重新训练的可迁移、可部署的查询选择策略。
• 通过强化学习在主动异常检测中平衡短期与长期奖励。

提出的方法

• 将主动异常检测建模为马尔可夫决策过程（MDP），其中状态表示基于异常得分和元特征的表示。
• 使用近端策略优化（PPO）训练深度强化学习智能体，以学习选择下一个查询实例的元策略。
• 定义奖励为查询过程中发现的真实异常数量的累积值，并引入折扣因子以平衡即时收益与未来收益。
• 使用一组固定的六种元特征（如异常得分、不确定性、与正常簇的距离）来表示每个实例，作为策略的输入。
• 优化元策略以最大化折扣累积奖励，从而实现在查询选择中的长期规划。
• 直接将训练好的元策略部署在新数据集上，无需进一步调优，确保其广泛适用性。

实验结果

研究问题

• RQ1 在主动异常检测中建模长期性能是否能相比贪婪策略带来更好的真实异常发现效果？
• RQ2 在顺序的人机协同异常检测设置中，长期性能应如何有效量化并优化？
• RQ3 一个单一的预训练元策略能否在具有不同数据分布和决策空间大小的多样化数据集上实现泛化？
• RQ4 在实际应用中，该元策略在多大程度上平衡了短期与长期奖励？
• RQ5 该元策略是否可在无需重新训练的情况下，在不同异常检测场景中实现可迁移性和鲁棒性？

主要发现

• 在24个基准数据集上，Meta-AAD 在真实异常发现方面显著优于最先进的重排序策略和无监督基线方法。
• 训练好的元策略在无需在新数据上重新训练或调整超参数的情况下，可在多样化数据集中良好泛化。
• 实证分析证实，Meta-AAD 天然地平衡了短期与长期奖励，避免了对即时反馈的过拟合。
• 即使仅使用固定的六种元特征，该框架也表现出对特征工程选择的鲁棒性。
• Meta-AAD 在具有不同规模、分布和决策空间复杂度的数据集之间展现出良好的可迁移性。
• 深度强化学习的使用实现了有效的长期规划，克服了贪婪查询选择的局限性。