[論文レビュー] Discriminative Multi-level Reconstruction under Compact Latent Space for One-Class Novelty Detection

Jaewoo Park, Yoon Gyo Jung+1 more|arXiv (Cornell University)|Mar 3, 2020

Anomaly Detection Techniques and Applications参考文献 61被引用数 5

ひとこと要約

本稿では、生成対抗フレームワーク内の内部的判別層を用いて、コンactかつ崩壊のない潜在表現を学習する、ワンクラスの新奇度検出モデルである判別的コンパクトオートエノード（DCAE）を提案する。マルチレベル再構成と、判別器の最終層の1つ前層を用いた新しい意味的再構成誤差を活用することで、CIFAR-10およびその他のベンチマークにおいて、新奇度検出および対抗例検出の両面で最先端の性能を達成する。

ABSTRACT

In one-class novelty detection, a model learns solely on the in-class data to single out out-class instances. Autoencoder (AE) variants aim to compactly model the in-class data to reconstruct it exclusively, thus differentiating the in-class from out-class by the reconstruction error. However, compact modeling in an improper way might collapse the latent representations of the in-class data and thus their reconstruction, which would lead to performance deterioration. Moreover, to properly measure the reconstruction error of high-dimensional data, a metric is required that captures high-level semantics of the data. To this end, we propose Discriminative Compact AE (DCAE) that learns both compact and collapse-free latent representations of the in-class data, thereby reconstructing them both finely and exclusively. In DCAE, (a) we force a compact latent space to bijectively represent the in-class data by reconstructing them through internal discriminative layers of generative adversarial nets. (b) Based on the deep encoder's vulnerability to open set risk, out-class instances are encoded into the same compact latent space and reconstructed poorly without sacrificing the quality of in-class data reconstruction. (c) In inference, the reconstruction error is measured by a novel metric that computes the dissimilarity between a query and its reconstruction based on the class semantics captured by the internal discriminator. Extensive experiments on public image datasets validate the effectiveness of our proposed model on both novelty and adversarial example detection, delivering state-of-the-art performance.

研究の動機と目的

• オートエノードベースのワンクラス新奇度検出における潜在表現の崩壊問題に取り組み、クラス内再構成品質の低下を是正すること。
• クラス内データのコンパクトで崩壊のない潜在表現を学習することで、再構成に基づく新奇度検出を改善すること。
• クラス内とクラス外のサンプル間の高レベル意味的差を捉える、より効果的で頑健な再構成誤差メトリックを開発すること。
• 外部分類器や複雑なサンプリング技術に依存せずに、正確な推論を可能にすること。
• 標準的な新奇度検出および対抗例検出の両タスクで強力な性能を達成すること。

提案手法

• DCAEは、潜在空間を判別器によって制約することで、コンパクトで崩壊のない表現を保証する深層オートエノードを採用する。
• 複数レベルの再構成損失（Leaf）を用い、エンコーダーとデコーダーの複数の層で再構成を強制することで、特徴の学習と一般化を向上させる。
• モデルは、内部判別器の最終層の1つ前層を活用し、入力と再構成出力を投影することで、新しい意味的注意の置かれた再構成誤差スコアを実現する。
• 新奇度スコア関数 sa(x) は、判別器の最終層の1つ前層における正規化された特徴量のコサイン類似度の1倍として定義され、クラスの意味を捉える。
• エンコーダーはオープンセットリスクに脆弱であるように設計されており、クラス外のサンプルは、同じコンパクトな潜在空間にマップされても、うまく再構成されない。
• 外部分類器や複雑なサンプリングを避けるために、新奇度検出メカニズムをオートエノードの内部アーキテクチャに統合する。

実験結果

リサーチクエスチョン

• RQ1 コンパクトで崩壊のない潜在表現を学習することで、再構成ベースのワンクラス新奇度検出モデルが、クラス内データの細かくも排他的な再構成を達成できるか？
• RQ2 内部判別器の最終層の1つ前層を用いて意味的注意の置かれた再構成誤差を計算することで、ピクセル単位の再構成損失よりも新奇度検出性能が向上するか？
• RQ3 複数レベルの再構成損失は、ワンクラス設定における特徴の学習を向上させ、検出精度を向上させることができるか？
• RQ4 提案手法は、分布外サンプルおよび対抗例の両方を検出する際、最先端のモデルと比較して優れた性能を示すか？
• RQ5 tanh活性化関数による潜在空間の明示的バウンディングが、表現の崩壊を引き起こし、性能を低下させるか？

主な発見

• DCAEは、プロトコルBにおけるCIFAR-10で平均AUC 0.7412を達成し、OCGAN、D-SVDD、AnoGANを含むすべてのベースラインを上回る。
• 境界攻撃を用いた対抗例検出において、意味的注意スコア（sa）を用いたDCAEはAUC 0.929を達成し、スコア関数sc（0.877）を大幅に上回り、D-SVDD（0.803）などの先行手法をも凌駆する。
• アブレーションスタディの結果、Leafの複数レベル再構成損失やLinv−zのコンponentsを削除すると性能が低下し、これらのコンponentsを欠如させたDCAEでは平均AUCが0.7080にとどまる。
• 提案されたコンponentsを除いたがtanhバウンデッド潜在空間を持つモデル（tanh-DCAE）は、性能がさらに悪い（平均AUC 0.6796）ことが確認され、明示的バウンディングが表現の崩壊を引き起こすことが裏付けられた。
• スコア計算に使用する層が深くなるほど性能が単調に向上し、判別器の高レベル特徴がより判別的な意味的特徴を捉えていることが検証された。
• 判別器の最終層の1つ前層に基づくスコア関数sa(x)は、すべてのクラスにおいてピクセル単位の再構成誤差（sper−pixel）を常に上回り、意味的新奇度を捉える優位性が証明された。