[論文レビュー] Are generative deep models for novelty detection truly better?

Hans Skvara, Tomáš Pevný+1 more|arXiv (Cornell University)|Jul 13, 2018

Anomaly Detection Techniques and Applications参考文献 20被引用数 33

ひとこと要約

この論文は、非画像のベンチマークデータセットを対象に、kNN や隔離フォレストなどの古典的手法と比較して、生成的深層モデルの性能を評価している。生成的深層モデルがkNNを一貫して上回るとは限らず、その性能はハイパーパrameterチューニングに強く依存しており、限られた異常ラベルしか入手できない実世界の状況では現実的でないことが判明した。

ABSTRACT

Many deep models have been recently proposed for anomaly detection. This paper presents comparison of selected generative deep models and classical anomaly detection methods on an extensive number of non--image benchmark datasets. We provide statistical comparison of the selected models, in many configurations, architectures and hyperparamaters. We arrive to conclusion that performance of the generative models is determined by the process of selection of their hyperparameters. Specifically, performance of the deep generative models deteriorates with decreasing amount of anomalous samples used in hyperparameter selection. In practical scenarios of anomaly detection, none of the deep generative models systematically outperforms the kNN.

研究の動機と目的

• 生成的深層モデルが実世界の設定において、古典的手法よりも顕著な性能向上をもたらすかどうかを評価すること。
• ハイパーパrameter選択が異常検出における生成的深層モデルの性能に与える影響を調査すること。
• わずかな数の異常サンプルしか利用できない状況での、深層モデルのロバスト性を評価すること。
• 最先端の深層生成モデルに対しても、kNNが実用的な異常検出シナリオにおいて依然として強力なベースラインであるかどうかを特定すること。
• 異常検出アルゴリズムの公平な比較を可能にする、標準化された公開フレームワークを提供すること。

提案手法

• 本研究では、非画像のベンチマークデータセットを対象に、VAE、正規化フローを備えたVAE、GAN、fmGAN、オートエンコーダーといった複数の生成的深層モデルを評価した。
• 性能は、全テストセット、トレーニングセット、および最も異常な上位1%または5%のサンプルを用いたハイパーパrameter選択戦略を含む、AUCスコアで測定された。
• 統計的有意性は、フリードマン検定と差の臨界図を用いて、複数のデータセットにわたるアルゴリズム順位の比較によって評価された。
• 一貫したトレーニング、テスト、およびモデル比較を保証するため、標準化された評価フレームワークが実装された。
• 異常スコアは、再構成誤差（オートエンコーダー）、ディスクライマーのスコア（GAN）、または両者の組み合わせから導出された。
• 実用性の評価のため、平均予測時間と計算コストも分析に含めた。

実験結果

リサーチクエスチョン

• RQ1 生成的深層モデルは、非画像のベンチマークデータセットにおいて、kNN や隔離フォレストといった古典的手法を体系的に上回るのか？
• RQ2 ハイパーパrameterチューニングに使用可能な異常サンプルが少ない場合、深層生成モデルの性能はどの程度低下するのか？
• RQ3 先行研究で観察された深層モデルの優れた性能は、有利なハイパーパrameter選択によるものか、それともモデル自体の優位性によるものなのか？
• RQ4 最先端の深層生成モデルが登場しても、kNNは依然としてロバストなベースラインと見なせるのか？
• RQ5 限られたラベル付き異常サンプルしか利用できない状況で、ハイパーパrameter選択に最も効果的な基準は何か？

主な発見

• VAE や fmGAN などの生成的深層モデルは、全テストセットなど、多数の既知の異常サンプルを用いてハイパーパrameterをチューニングした場合に限り、kNN を上回る性能を示す。
• 上位1%または5%の最も異常なサンプルしかチューニングに利用できない場合、生成的モデルは一貫してkNNに劣り、kNNはあらゆる設定でロバストである。
• フリードマン検定により、すべてのモデルが同等に性能を発揮するという帰無仮説が棄却され、手法間で統計的に有意な性能差が存在することが示された。
• kNN は、最も現実的なチューニング基準（上位1%および上位5%の異常サンプル）を含む、いかなるハイパーパラメータ選択基準においても、どの生成モデルからも上回られなかった。
• VAE は、すべてのチューニング基準において最も一貫した性能を示し、生成的深層モデルの中でも特にロバストであることが示された。
• 大規模データセットでは、深層モデルの予測時間は高速である（トレーニングセットサイズに依存しないため）、が、その利点は高いトレーニングコストによって相殺される。