[論文レビュー] Meta-AAD: Active Anomaly Detection with Deep Reinforcement Learning

Daochen Zha, Kwei-Herng Lai+2 more|arXiv (Cornell University)|Sep 16, 2020

Anomaly Detection Techniques and Applications参考文献 36被引用数 8

ひとこと要約

Meta-AAD は、人間による照合を求めるインスタンスを選択することで長期的なパフォーマンスを最適化する、深層強化学習に基づくメタポリシーを提案する。24のベンチマークデータセットにおいて、グリーディな再順序付け戦略や非教師ありベースラインを著しく上回る。このフレームワークは、新しいデータに対して再トレーニングが不要な、再利用可能な照合ポリシーを学習する。

ABSTRACT

High false-positive rate is a long-standing challenge for anomaly detection algorithms, especially in high-stake applications. To identify the true anomalies, in practice, analysts or domain experts will be employed to investigate the top instances one by one in a ranked list of anomalies identified by an anomaly detection system. This verification procedure generates informative labels that can be leveraged to re-rank the anomalies so as to help the analyst to discover more true anomalies given a time budget. Some re-ranking strategies have been proposed to approximate the above sequential decision process. Specifically, existing strategies have been focused on making the top instances more likely to be anomalous based on the feedback. Then they greedily select the top-1 instance for query. However, these greedy strategies could be sub-optimal since some low-ranked instances could be more helpful in the long-term. In this work, we propose Active Anomaly Detection with Meta-Policy (Meta-AAD), a novel framework that learns a meta-policy for query selection. Specifically, Meta-AAD leverages deep reinforcement learning to train the meta-policy to select the most proper instance to explicitly optimize the number of discovered anomalies throughout the querying process. Meta-AAD is easy to deploy since a trained meta-policy can be directly applied to any new datasets without further tuning. Extensive experiments on 24 benchmark datasets demonstrate that Meta-AAD significantly outperforms the state-of-the-art re-ranking strategies and the unsupervised baseline. The empirical analysis shows that the trained meta-policy is transferable and inherently achieves a balance between long-term and short-term rewards.

研究の動機と目的

• 人間によるフィードバックを組み込むことで、異常検出における高い偽陽性率を低減すること。
• 即時のパフォーマンスにのみ注目するグリーディな照合選択戦略の非最適性を克服すること。
• 将来の照合の利益が不確実で定量が難しい、アクティブな異常検出における長期的パフォーマンスをモデル化すること。
• 再トレーニングが不要な、再利用可能で実装可能な照合選択ポリシーを開発すること。
• 強化学習を用いて、アクティブな異常検出における短期的および長期的報酬のバランスを取ること。

提案手法

• 異常スコアとメタ特徴量から得られる状態表現を用いて、アクティブな異常検出をマルコフ決定過程（MDP）として定式化する。
• Proximal Policy Optimization（PPO）を用いて深層強化学習エージェントを訓練し、次に照合するインスタンスを決定するメタポリシーを学習する。
• 報酬を照合プロセス全体における発見された真の異常数の累積値として定義し、即時の利益と将来の利益のバランスを取るために割引を適用する。
• 各インスタンスの入力として、固定された6つのメタ特徴量（例：異常スコア、不確実性、正常クラスタからの距離）を用いる。
• 割引累積報酬を最大化するようにメタポリシーを最適化することで、照合選択における長期的計画を可能にする。
• 新しいデータセットに直接トレーニング済みのメタポリシーを適用し、さらに調整なしに利用可能であることを保証する。

実験結果

リサーチクエスチョン

• RQ1 アクティブな異常検出における長期的パフォーマンスをモデル化することで、グリーディな戦略と比較して真の異常をより効果的に発見できるか？
• RQ2 順次的人間によるフィードバックを伴う異常検出の文脈において、長期的パフォーマンスを効果的に定量化・最適化する方法は何か？
• RQ3 1つの事前トレーニング済みメタポリシーが、異なるデータ分布や意思決定空間のサイズを有する多様なデータセットに一般化可能か？
• RQ4 実際の運用において、メタポリシーが短期的および長期的報酬のバランスをどの程度適切に取っているか？
• RQ5 再トレーニングなしに、さまざまな異常検出シナリオにわたって、メタポリシーは再利用可能で頑健であるか？

主な発見

• Meta-AAD は、24のベンチマークデータセットにおいて、最先端の再順序付け戦略および非教師ありベースラインを著しく上回り、真の異常発見性能に優れている。
• 訓練済みのメタポリシーは、新しいデータに対して再トレーニングやハイパーパrameterチューニングなしに、多様なデータセットにうまく一般化している。
• 実証的分析により、Meta-AAD が即時のフィードバックに過剰に適合することなく、自然に短期的および長期的報酬のバランスを取っていることが確認された。
• 固定された6つのメタ特徴量のセットですでに優れたパフォーマンスを達成しているため、特徴工学の選択に対して頑健であることが示唆された。
• Meta-AAD は、サイズや分布、意思決定空間の複雑さが異なるデータセット間で再利用可能であることが示された。
• 深層強化学習の使用により、グリーディな照合選択の限界を克服し、効果的な長期的計画が可能になった。