[論文レビュー] Novelty Detection via Non-Adversarial Generative Network

Cheng‐Wei Chen, Yuan Wang+5 more|arXiv (Cornell University)|Feb 3, 2020

Anomaly Detection Techniques and Applications参考文献 20被引用数 7

ひとこと要約

本稿では、識別的損失を用いて潜在空間と画像再構成を共同最適化することで、安定的で高速な学習と優れた再構成品質を実現する、敵対的でないデコーダ-エンコーダー生成フレームワークを提案する。この手法は、ベンチマークデータセット上で平均AUC 0.7501を達成し、GANベースの手法や他の最先端手法を上回る最先端の性能を発揮する。

ABSTRACT

One-class novelty detection is the process of determining if a query example differs from the training examples (the target class). Most of previous strategies attempt to learn the real characteristics of target sample by using generative adversarial networks (GANs) methods. However, the training process of GANs remains challenging, suffering from instability issues such as mode collapse and vanishing gradients. In this paper, by adopting non-adversarial generative networks, a novel decoder-encoder framework is proposed for novelty detection task, insteading of classical encoder-decoder style. Under the non-adversarial framework, both latent space and image reconstruction space are jointly optimized, leading to a more stable training process with super fast convergence and lower training losses. During inference, inspired by cycleGAN, we design a new testing scheme to conduct image reconstruction, which is the reverse way of training sequence. Experiments show that our model has the clear superiority over cutting-edge novelty detectors and achieves the state-of-the-art results on the datasets.

研究の動機と目的

• GANベースの異常検出手法に内在する不安定性と学習の難しさ、特にモード崩壊や勾配消失の問題を解決すること。
• 敵対的学習を非敵対的最適化に置き換えることで、より安定的で効率的な学習フレームワークを構築すること。
• より優れた分布内・分布外サンプルの分離を実現するため、潜在表現の再構成品質と識別力の向上を図ること。
• 学習プロセスを逆転させる新しい推論戦略を設計し、テスト時の再構成忠実度を向上させること。
• 画像および音声の異常検出タスクにおいて、複数のベンチマークデータセットで最先端の性能を達成すること。

提案手法

• 標準のエンコーダ-デコーダーの流れとは逆に、学習済みノイズベクトルから画像を生成するデコーダーと、テスト画像を潜在空間にマッピングするエンコーダーを用いる、新しいデコーダ-エンコーダー枠組みを提案する。
• 潜在表現損失（判別的潜在コードを保証するため）と画像再構成損失（視覚的忠実度を向上させるため）の2つの損失関数を用いた共同最適化スキームを導入する。
• 両損失関数をエンドツーエンドで学習させることで、GANベースの手法と比較してより速い収束と低い学習損失を実現する。
• テスト時に、学習とは逆の順序（エンコーダーを最初に通し、その後デコーダーで再構成）をとる逆推論戦略を設計する。
• 生成的潜在最適化（GLO）の理論を活用し、敵対的学習を伴わずに意味のあるノイズから画像へのマッピングを確立する。
• 敵対的でない、再構成に基づく学習目的を採用することで、ディスカイマネーターとジェネレーターの競争による不安定性を回避する。

実験結果

リサーチクエスチョン

• RQ1 敵対的でない生成フレームワークは、一クラス異常検出において、GANベースの手法よりも安定性が高く、収束が速いと期待できるか？
• RQ2 潜在空間と画像再構成空間の共同最適化は、より判別力のある表現と高品質な再構成をもたらすか？
• RQ3 逆推論戦略（エンコーダーを最初に通す）は、分布外サンプルの再構成精度を向上させられるか？
• RQ4 提案手法は、標準的な画像および音声異常検出ベンチマークで最先端の性能を達成するか？
• RQ5 学習された潜在多様体は、正規サンプルと異常サンプルの間で、コンパクトさと分離性においてどのように比較されるか？

主な発見

• CIFAR-10データセットにおいて、提案手法は平均AUC 0.7501を達成し、OCGAN（0.6566）や他の最先端手法を顕著に上回る。
• DCASE音声異常検出データセットでは、ライブラリ設定でAUC 0.97、カー設定で0.99、トラム設定で0.97を達成し、15の環境設定すべてでWaveNetやCAEを上回った。
• GANベースの手法と比較して、より速い収束と低い学習損失を示し、ハイパーパramータの微調整と複数回の初期化が不要である。
• OCGANとの定性的比較では、提案手法は分布外の数字をターゲットクラス（例：数字8）として再構成するが、異常を保持するのではなく、潜在多様体がよりコンパクトで、正規と異常サンプルの分離が明確であることが示された。
• 逆推論戦略（エンコーダーを最初に通す）により、インライナーの再構成がより正確に実現され、アウトライアーではより高い再構成誤差が得られ、検出性能が向上した。
• GANベースのアプローチと比較して、ぼやけのない明確な再構成を生成し、再構成誤差の歪みを回避することで、異常検出性能の低下を防いだ。