[論文レビュー] Anomaly Detection using One-Class Neural Networks

Raghavendra Chalapathy, Aditya Krishna Menon+1 more|arXiv (Cornell University)|Feb 18, 2018

Anomaly Detection Techniques and Applications参考文献 25被引用数 189

ひとこと要約

本論文は OC-NN を提案する。OC-NN は one-class SVM に類似した目的を深層表現に統合し、後処理の特徴抽出に依存せずに異常検知を行うニューラルネットワークモデルであり、複雑で高次元のデータ上で競争力のある性能を示す。

ABSTRACT

We propose a one-class neural network (OC-NN) model to detect anomalies in complex data sets. OC-NN combines the ability of deep networks to extract a progressively rich representation of data with the one-class objective of creating a tight envelope around normal data. The OC-NN approach breaks new ground for the following crucial reason: data representation in the hidden layer is driven by the OC-NN objective and is thus customized for anomaly detection. This is a departure from other approaches which use a hybrid approach of learning deep features using an autoencoder and then feeding the features into a separate anomaly detection method like one-class SVM (OC-SVM). The hybrid OC-SVM approach is sub-optimal because it is unable to influence representational learning in the hidden layers. A comprehensive set of experiments demonstrate that on complex data sets (like CIFAR and GTSRB), OC-NN performs on par with state-of-the-art methods and outperformed conventional shallow methods in some scenarios.

研究の動機と目的

• OC-SVM が難航する高次元データにおける教師なし異常検知を改善する動機。
• 表現学習へ one-class 目的を組み込むニューラルネットワークベースのアプローチを開発する。
• 隠れ層の表現を異常検知に合わせて調整し、エンドツーエンド最適化を可能にする。
• OC-NN を多モーダルデータセット（画像とシーケンス）上で浅いおよび深いベースラインと比較評価する。
• OC-NN のカットオフに対する分位点ベースの最適化に関する理論的洞察と 交互最小化トレーニング手順を提供する。

提案手法

• OC-SVM のドット積をニューラルネットワークの隠れ表現に置き換える one-class neural network (OC-NN) を提案する： hat{y}_n = w^T g(V x_n)。
• OC-NN の目的を、標準的な重み正則化項と、max(0, r - hat{y}_n) によるヒンジ様の one-class 損失項の和として定式化する（バイアス r を用いる）。
• 最適な r は hat{y}_n の nu-分位点であることを導出し、backpropagation によって w と V を学習し、r は分位点計算で更新する交互最小化を可能にする。
• エンコーダの重みを事前学習済みオートエンコーダから初期化して、異常検知に適した特徴を調整できるようにする。
• 合成データと実データで OC-SVM/SVDD、KDE、Isolation Forest、DCAE、AnoGAN、RCAE と OC-NN を比較する。
• 複雑なデータに対して単一の隠れ層と転移学習からの埋め込みを用いたネットワークアーキテクチャを記述する。

実験結果

リサーチクエスチョン

• RQ1 異常検知のタスク特異的表現を学習するために、 one-class 目的をニューラルネットワークに統合するにはどうすればよいか。
• RQ2 OC-NN は最先端のベースラインと比較して、高次元の画像およびシーケンスデータで競争力のあるまたは優れた異常検知性能を達成するか。
• RQ3 交互最小化と決定閾値の分位点ベースの更新によって、トレーニングを効率的に最適化できるか。
• RQ4 OC-NN への入力としてオートエンコーダ由来の特徴を使用することが検出精度に与える影響は何か。
• RQ5 現実的なデータセットで、敵対的または境界攻撃の異常検知における OC-NN の性能はどうか。

主な発見

• OC-NN は複雑な画像およびシーケンスデータセットで、最先端のディープラーニング手法と競合する性能を達成する。
• OC-NN は特定の状況、特に高次元データで従来の浅い手法を上回ることがある。
• トレーニングアルゴリズムは、スコアの nu-分位点に等しい閾値 r を用いた交互最小化を採用し、実用的な最適化を可能にする。
• 事前学習済みオートエンコーダからのエンコーダ特徴を用いることで、OC-NN の異常検知能力が高まる。
• OC-NN は GTSRB データセットで敵対的な停止標識サンプルの検出に有効であることを示し、他の深層モデルと比較した結果を得る。