[논문 리뷰] Meta-AAD: Active Anomaly Detection with Deep Reinforcement Learning

Daochen Zha, Kwei-Herng Lai외 2명|arXiv (Cornell University)|2020. 09. 16.

Anomaly Detection Techniques and Applications참고 문헌 36인용 수 8

한 줄 요약

Meta-AAD는 인간의 피드백을 통한 활성 이상 탐지에 대해 장기 성능을 최적화하기 위해 인스턴스를 인간의 질의 대상으로 선택함으로써, 장기 성능을 고려한 딥 강화학습 기반 메타정책을 제안한다. 이는 24개의 벤치마크 데이터셋에서 탐지 전략과 비지도 기반 기준보다 뚜렷하게 뛰어난 성능을 보이며, 새로운 데이터에 대해 재학습이 필요 없이도 짧은 기간과 장기적 보상을 균형 있게 고려하는 이식 가능한 질의 정책을 학습한다.

ABSTRACT

High false-positive rate is a long-standing challenge for anomaly detection algorithms, especially in high-stake applications. To identify the true anomalies, in practice, analysts or domain experts will be employed to investigate the top instances one by one in a ranked list of anomalies identified by an anomaly detection system. This verification procedure generates informative labels that can be leveraged to re-rank the anomalies so as to help the analyst to discover more true anomalies given a time budget. Some re-ranking strategies have been proposed to approximate the above sequential decision process. Specifically, existing strategies have been focused on making the top instances more likely to be anomalous based on the feedback. Then they greedily select the top-1 instance for query. However, these greedy strategies could be sub-optimal since some low-ranked instances could be more helpful in the long-term. In this work, we propose Active Anomaly Detection with Meta-Policy (Meta-AAD), a novel framework that learns a meta-policy for query selection. Specifically, Meta-AAD leverages deep reinforcement learning to train the meta-policy to select the most proper instance to explicitly optimize the number of discovered anomalies throughout the querying process. Meta-AAD is easy to deploy since a trained meta-policy can be directly applied to any new datasets without further tuning. Extensive experiments on 24 benchmark datasets demonstrate that Meta-AAD significantly outperforms the state-of-the-art re-ranking strategies and the unsupervised baseline. The empirical analysis shows that the trained meta-policy is transferable and inherently achieves a balance between long-term and short-term rewards.

연구 동기 및 목표

• 인간의 피드백을 통합하여 이상 탐지에서 높은 거짓 양성률 문제를 해결하기 위해.
• 단기 성능에만 초점을 맞춘 게으른 질의 선택 전략의 비최적성 문제를 해결하기 위해.
• 미래의 질의 이점이 불확실하고 정량화하기 어려운 활성 이상 탐지에서 장기 성능을 모델링하기 위해.
• 새로운 데이터셋에 대해 재학습이 필요 없는 이식 가능하고, 구현에 적합한 질의 선택 정책을 개발하기 위해.
• 강화학습을 통해 활성 이상 탐지에서 단기 및 장기 보상 간 균형을 이루기 위해.

제안 방법

• 이상 점수와 메타특성에서 유도된 상태 표현을 사용하여 활성 이상 탐지를 마르코프 결정 과정(MDP)으로 공식화한다.
• 다음 질의 대상 인스턴스를 선택하는 데 사용할 수 있는 메타정책을 학습하기 위해 Proximal Policy Optimization(PPO)를 사용한 딥 강화학습 에이전트를 훈련한다.
• 질의 과정 동안 발견된 진짜 이상 탐지 수의 누적값을 보상으로 정의하며, 즉각적인 이득과 미래의 이득 간 균형을 위해 할인을 적용한다.
• 정책 입력을 위해 각 인스턴스를 표현하기 위해 고정된 6개의 메타특성(예: 이상 점수, 불확실성, 정상 클러스터와의 거리)을 사용한다.
• 할인된 누적 보상을 최대화하기 위해 메타정책을 최적화함으로써 질의 선택에서 장기적 계획 수립이 가능하도록 한다.
• 새로운 데이터셋에 대해 추가 조정 없이도 훈련된 메타정책을 직접 배포함으로써 광범위한 적용 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 장기 성능을 모델링함으로써 게으른 전략보다 더 나은 진짜 이상 탐지 성능을 달성할 수 있는가?
• RQ2 순차적인 인간-중심 이상 탐지 환경에서 장기 성능를 효과적으로 정량화하고 최적화할 수 있는가?
• RQ3 일관된, 사전 훈련된 메타정책이 다양한 데이터 분포와 결정 공간 크기를 가진 다양한 데이터셋에 일반화될 수 있는가?
• RQ4 실제로 메타정책이 단기 및 장기 보상 간 균형을 얼마나 잘 이루는가?
• RQ5 재학습 없이도 다양한 이상 탐지 시나리오에서 메타정책이 이식 가능하고 강건한가?

주요 결과

• Meta-AAD는 24개의 벤치마크 데이터셋에서 최신의 재랭킹 전략과 비지도 기반 기준보다 진짜 이상 탐지 측면에서 뚜렷하게 뛰어난 성능을 보였다.
• 훈련된 메타정책은 새로운 데이터에 대해 재학습이나 하이퍼파라미터 조정 없이도 다양한 데이터셋에 잘 일반화된다.
• 실험 분석을 통해 Meta-AAD가 즉각적인 피드백에 과적합하지 않고 자연스럽게 단기 및 장기 보상을 균형 있게 유지함을 확인하였다.
• 고정된 6개의 메타특성 세트를 사용함에도 불구하고 뛰어난 성능를 달성함으로써, 특성 공학 선택에 대한 강건성을 시사한다.
• Meta-AAD는 크기, 분포, 결정 공간 복잡도가 다른 데이터셋 간 이식 가능성을 입증하였다.
• 딥 강화학습의 활용으로 게으른 질의 선택의 한계를 극복하고 효과적인 장기 계획 수립이 가능함을 입증하였다.