[論文レビュー] Generative Probabilistic Novelty Detection with Adversarial Autoencoders

Stanislav Pidhorskyi, Ranya Almohsen+2 more|arXiv (Cornell University)|Jul 6, 2018

Anomaly Detection Techniques and Applications参考文献 50被引用数 140

ひとこと要約

GPNDは、敵対的オートエンコーダを用いてパラメータ化された多様体としてインライヤ分布を学習し、生成的なインライヤ確率を計算して新規性を検出します。これにより、いくつかのベンチマークで最新性能を達成します。

ABSTRACT

Novelty detection is the problem of identifying whether a new data point is considered to be an inlier or an outlier. We assume that training data is available to describe only the inlier distribution. Recent approaches primarily leverage deep encoder-decoder network architectures to compute a reconstruction error that is used to either compute a novelty score or to train a one-class classifier. While we too leverage a novel network of that kind, we take a probabilistic approach and effectively compute how likely is that a sample was generated by the inlier distribution. We achieve this with two main contributions. First, we make the computation of the novelty probability feasible because we linearize the parameterized manifold capturing the underlying structure of the inlier distribution, and show how the probability factorizes and can be computed with respect to local coordinates of the manifold tangent space. Second, we improved the training of the autoencoder network. An extensive set of results show that the approach achieves state-of-the-art results on several benchmark datasets.

研究の動機と目的

• インライヤデータのみが利用可能な場合にノベルティ検出を動機づける。
• インライヤ分布を、エンコーダ-デコーダネットワークによって学習されるパラメータ化された多様体としてモデル化する。
• 多様体を線形化し、接線成分とノイズ成分に沿って分布を因数分解することでインライヤ確率を計算する。
• 潜在空間とデコーダ出力を規制する二つの識別器を用いて訓練を強化し、生成と検出の品質を向上させる。
• 複数の画像データセットと評価指標で最新の性能を示す。

提案手法

• インライヤデータを x = f(z) + ξ と表現し、z は潜在空間にあり、f は多様体 M をモデリングする。
• 投影点で f を線形化して接線空間 T を得、座標回転を行い W parallel と W perpendicular 成分に分ける。
• 独立性を仮定して pX(x) = pW∥(w∥) pW⊥(w⊥) を導出し、インライヤに対しては pX(x̄) ≥ γ、アウトライヤに対しては < γ となる計算可能な novelty テストを導く。
• 二つの識別器を持つ Adversarial Autoencoder によって f と g（エンコーダ／デコーダ）を学習する：潜在空間の事前分布用 Dz とデコーダ出力のリアリズム用 Dx、さらにオートエンコーダ再構成損失を併用。
• 訓練後にオフラインで pZ(z) を推定し、ノルムのヒストグラムを用いて p‖W⊥‖‖をモデル化する。成分を結合して pX(x̄) を novelty score として得る。

実験結果

リサーチクエスチョン

• RQ1 再構成誤差ベースのスコアではなく、学習されたインライヤ分布の確率評価としてノベルティ検出をどのように定式化できるか。
• RQ2 インライヤ多様体の接線空間（局所線形）近似は、新しいサンプルのインライヤ確率の実行可能な計算を可能にするか。
• RQ3 潜在空間とデコード済み出力の双方に対する敵対的正則化を取り入れることは、学習したインライヤ多様体の品質とノベルティ検出の精度を向上させるか。
• RQ4 さまざまなインライヤ/アウトライヤ設定の下で、標準的な画像データセットにおける GPND の性能は、既存の最先端手法と比較してどうか。

主な発見

• GPND は MNIST、Coil-100、Fashion-MNIST、CIFAR-10/100、その他のベンチマークで強力な、しばしば最先端の性能を達成します。
• この手法は、完全なインライヤ確率分布をモデル化することで、再構成誤差ベースの方法やワンクラス分類器を一貫して上回ります。
• 潜在空間と出力分布という二重の敵対的訓練とオートエンコーダ損失の組み合わせにより、多様体の忠実度が向上し、ノベルティ識別が鋭くなります。
• 多様体の局所線形化と接線/ノイズ座標の独立性によってノベルティスコアの実行可能な計算が実現され、実用的な検証時間を可能にします。
• ODIN と比較して、GPND は競争力があり、ラベル情報を必要とせずに高クラス数データセットで OdIN を上回ることがあります。