[論文レビュー] OCGAN: One-class Novelty Detection Using GANs with Constrained Latent Representations

Pramuditha Perera, Ramesh Nallapati+1 more|arXiv (Cornell University)|Mar 20, 2019

Anomaly Detection Techniques and Applications参考文献 14被引用数 56

ひとこと要約

OCGANは、制約された潜在空間と二重の識別器を備えたデノイジング自己エンコーダを学習し、すべての潜在サンプルが既知のクラスへデコードされるように強制することで、敵対的トレーニングと情報量の多いネガティブマイニングを用いた効果的なワン・クラスの novelty 検出を実現します。

ABSTRACT

We present a novel model called OCGAN for the classical problem of one-class novelty detection, where, given a set of examples from a particular class, the goal is to determine if a query example is from the same class. Our solution is based on learning latent representations of in-class examples using a denoising auto-encoder network. The key contribution of our work is our proposal to explicitly constrain the latent space to exclusively represent the given class. In order to accomplish this goal, firstly, we force the latent space to have bounded support by introducing a tanh activation in the encoder's output layer. Secondly, using a discriminator in the latent space that is trained adversarially, we ensure that encoded representations of in-class examples resemble uniform random samples drawn from the same bounded space. Thirdly, using a second adversarial discriminator in the input space, we ensure all randomly drawn latent samples generate examples that look real. Finally, we introduce a gradient-descent based sampling technique that explores points in the latent space that generate potential out-of-class examples, which are fed back to the network to further train it to generate in-class examples from those points. The effectiveness of the proposed method is measured across four publicly available datasets using two one-class novelty detection protocols where we achieve state-of-the-art results.

研究の動機と目的

• 潜在空間表現の制限に動機づけ、単一クラスで訓練されたモデルによって時にクラス外のオブジェクトがよく再構成されてしまうという限界に対処する。
• すべての潜在サンプルが知っているクラスのみを再現することを保証する潜在空間の制約と敵対的トレーニングを提案する。
• デノイジング自己エンコーダ、二つの識別器（潜在と視覚）、そして分類器を組み合わせたエンドツーエンドの訓練フレームワークを開発する。
• 潜在空間の領域でクラス外のような出力を生み出す領域に対する頑健性を向上させるため、情報的ネガティブマイニングを取り入れる。

提案手法

• 潜在空間を(-1,1)^dに制限するため、tanh活性化を持つエンコーダ出力を備えたデノイジング自己エンコーダ（En, De）を使用する。
• 潜在空間識別器Dlを訓練し、クラス内データの潜在表現がUniform(-1,1)^d分布に従うよう強制する。
• ランダムな潜在サンプルから生成された画像がクラス内データ分布に似ていることを保証するため、視覚識別器Dvを導入する。
• 再構成を正例として、ランダム潜在生成画像を負例として訓練する分類器を追加し、情報的ネガティブサンプルを識別する。
• 情報的ネガティブマイニング手法を実装し、分類器損失勾配を用いて潜在空間をクラス外の画像を生み出す可能性の高い領域へ動かす。
• 2つの反復ステップで訓練する: (i) 固定された自己エンコーダと識別器で分類器を訓練、(ii) 情報的ネガティブマイニングを伴う自己エンコーダと識別器を訓練。
• 複合損失を活用する：識別器にはl_latent + l_visual、生成器にはl_mse + l_visual + l_latent、強力な再構成項を含む。）

実験結果

リサーチクエスチョン

• RQ1 潜在空間を一様に有界領域に覆わせることで、モデルが与えられたクラスのみを表現するよう強制できるか？
• RQ2 潜在と視覚の識別器を用いた敵対的トレーニングは、ランダムな潜在サンプルからクラス外のような画像の生成を防げるか？
• RQ3 情報的ネガティブマイニングは、モデルを不適切なクラス内表現を生み出す潜在領域にさらすことで検出性能を向上させるか？

主な発見

• OCGANは4つの公開データセットで高いAUCを達成し、Protocol 1でCOIL100において0.995のAUCを含む。
• MNIST様データセットでは、いくつかのベースラインを上回り、Protocol 1で評価した場合 MNISTおよび fMNIST に関する従来手法を著しく上回った。
• Protocol 2におけるCIFAR-10では、OCGANは平均AUC0.9750を達成し、いくつかのベースラインと競合するか、それを上回る。
• MNISTでのアブレーション研究は、潜在・視覚識別器の追加と情報的ネガティブマイニングの導入から段階的な改善を示し、最終的に完全なモデルに至った。
• 定性的分析は、情報的ネガティブマイニングがクラス外のようなサンプルの生成を減らし、潜在空間全体でクラス内出力をより一貫させることを示した。