[論文レビュー] AutoOD: Automated Outlier Detection via Curiosity-guided Search and Self-imitation Learning

Yuening Li, Zhengzhang Chen+5 more|arXiv (Cornell University)|Jun 19, 2020

Anomaly Detection Techniques and Applications参考文献 65被引用数 15

ひとこと要約

AutoOD は、好奇心誘導型強化学習と自己模倣学習を用いて、教師なし設定下で最適な深層ニューラルネットワークアーキテクチャを探索する、画期的な自動異常検出フレームワークである。ベンチマークデータセットにおいて、手作業で設計されたモデルや従来のNAS手法を上回り、異常検出における不安定性、局所最適解、低サンプル効率の問題に対処する。

ABSTRACT

Outlier detection is an important data mining task with numerous practical applications such as intrusion detection, credit card fraud detection, and video surveillance. However, given a specific complicated task with big data, the process of building a powerful deep learning based system for outlier detection still highly relies on human expertise and laboring trials. Although Neural Architecture Search (NAS) has shown its promise in discovering effective deep architectures in various domains, such as image classification, object detection, and semantic segmentation, contemporary NAS methods are not suitable for outlier detection due to the lack of intrinsic search space, unstable search process, and low sample efficiency. To bridge the gap, in this paper, we propose AutoOD, an automated outlier detection framework, which aims to search for an optimal neural network model within a predefined search space. Specifically, we firstly design a curiosity-guided search strategy to overcome the curse of local optimality. A controller, which acts as a search agent, is encouraged to take actions to maximize the information gain about the controller's internal belief. We further introduce an experience replay mechanism based on self-imitation learning to improve the sample efficiency. Experimental results on various real-world benchmark datasets demonstrate that the deep model identified by AutoOD achieves the best performance, comparing with existing handcrafted models and traditional search methods.

研究の動機と目的

• 教師なし異常検出における自動的で効率的かつ安定的なニューラルアーキテクチャ探索の欠如に対処する。
• データの不均衡、不安定な探索プロセス、低サンプル効率といった異常検出の課題を克服する。
• モデルアーキテクチャのハイパーパrameterに加え、異常定義の仮説とそれに対応する目的関数を含む、特化した探索空間を設計する。
• 従来のNASにおける重み共有に起因する局所最適解やインダクティブバイアスを軽減することで、探索プロセスの安定化を図る。
• 自己模倣学習と経験再生を活用して、収束速度とモデル性能の向上を加速することで、サンプル効率を向上させる。

提案手法

• 内部信念に関する情報量の増加を最大化することで、探索空間の未到達領域を促進する好奇心誘導型探索戦略を提案する。
• 再帰的ニューラルネットワークを用いた強化学習ベースのコントローラーを採用し、階層的かつ汎用的な探索空間からアーキテクチャをサンプリングする。
• 高パフォーマンスな探索経路を再利用することで、サンプル効率を向上させる経験再生を組み込んだ自己模倣学習メカニズムを導入する。
• グローバルモデル設定と各レイヤーのハイパーパrameter（例：カーネルサイズ、フィルタ数）に加え、異常定義戦略とその目的関数を含むマイクロ探索空間を定義する。
• 異常検出性能（例：AUC）に基づく報酬関数を用いて、離散的かつ高次元の探索空間におけるコントローラーの探索をガイドする。
• 探索中における子モデルの効率的訓練のための重み共有を統合しつつ、好奇心駆動型探索によってそのバイアスを軽減する。

実験結果

リサーチクエスチョン

• RQ1 分類ラベルが存在しない教師なし異常検出に、ニューラルアーキテクチャ探索を効果的に適応する方法は何か？
• RQ2 アーキテクチャ設定と異常定義戦略の両方の有効な探索を可能にする探索空間設計はどのようなものか？
• RQ3 好奇心駆動型探索は、不均衡な異常検出タスクにおける局所最適解の回避と探索プロセスの安定化にどのように寄与するか？
• RQ4 自己模倣学習は、自動異常検出におけるサンプル効率をどの程度向上させ得るか？
• RQ5 自動化フレームワークは、手作業で設計されたモデルや従来のNAS手法を、異常検出ベンチマークで上回り得るか？

主な発見

• AutoOD は、インスタンスレベルの異常検出およびピクセルレベルの欠陊検出の8つの実世界ベンチマークデータセットで最先端のパフォーマンスを達成した。
• 自己模倣学習と経験再生を活用することで、サンプル効率が顕著に向上し、必要な学習イテレーション回数が削減された。
• 好奇心誘導型探索戦略は、局所最適解を効果的に回避し、重み共有に起因するバイアスを低減することで、より強固で多様なアーキテクチャの発見を可能にした。
• 探索空間に異常定義の仮説と目的関数を組み込むことで、データ分布に適合したモデルの発見が可能になった。
• 多様なデータセットにおいて、AUCとF1スコアの両面で、手作業で設計された深層モデルおよび従来のNAS手法を上回った。
• 広範なアブレーションスタディにより、提案された探索空間設計と自己模倣メカニズムがパフォーマンス向上に不可欠であることが確認された。