[論文レビュー] Discriminative-Generative Representation Learning for One-Class Anomaly Detection

Xuan Xia, Xizhou Pan+4 more|arXiv (Cornell University)|Jul 27, 2021

Anomaly Detection Techniques and Applications参考文献 50被引用数 5

ひとこと要約

本稿では、画素レベルの再構成を避けて、事前学習タスクにおける識別器の指導を活用することで、生成器の表現学習を強化する、GANベースの1クラス異常検出手法DGADを提案する。この手法は、判別的手法に近い性能を達成しながらも、はるかに高速である。CIFAR-10ではSOTA GANベースラインを6%、MVTADでは2%向上させ、アブレーションスタディにより、絶対的位置情報が表現学習に与える影響が文脈依存的であることが明らかになった。

ABSTRACT

As a kind of generative self-supervised learning methods, generative adversarial nets have been widely studied in the field of anomaly detection. However, the representation learning ability of the generator is limited since it pays too much attention to pixel-level details, and generator is difficult to learn abstract semantic representations from label prediction pretext tasks as effective as discriminator. In order to improve the representation learning ability of generator, we propose a self-supervised learning framework combining generative methods and discriminative methods. The generator no longer learns representation by reconstruction error, but the guidance of discriminator, and could benefit from pretext tasks designed for discriminative methods. Our discriminative-generative representation learning method has performance close to discriminative methods and has a great advantage in speed. Our method used in one-class anomaly detection task significantly outperforms several state-of-the-arts on multiple benchmark data sets, increases the performance of the top-performing GAN-based baseline by 6% on CIFAR-10 and 2% on MVTAD.

研究の動機と目的

• GAN生成器の表現学習能力に限界があること、特に画素レベルの再構成に過剰適合し、抽象的な意味的特徴を学習できないことに対処する。
• 識別器を予測器として再利用することで、生成的・判別的自己教師あり学習を統合し、事前学習タスクからの指導を生成器が受ける仕組みを構築する。
• 複雑な後処理に依存せずに、1クラスの異常検出性能を向上させつつ、高い推論速度を維持する。
• 幾何変換事前学習タスクにおける、絶対的位置情報が生成的および判別的コンポーネントの表現学習に与える影響を調査する。

提案手法

• 生成器は、幾何変換事前学習タスク（例：回転・クロップ分類）のラベルに一致する出力を生成するよう識別器によって指導され、画素単位の再構成が主な学習信号として置き換えられる。
• 識別器は、事前学習タスク（例：回転またはクロップ分類）の予測器として機能し、分類信号を通じて生成器が抽象的な意味的表現を学習できるようにする。
• 異常スコアは、生成器出力における再構成誤差に基づいて計算され、判別的手法がディリクレスコアや正規化を必要とするのに対し、シンプルで高速である。
• 対称パディングを用い、座標畳み込みを避けることで、絶対的位置情報が干渉するのを防ぎ、これは生成的表現学習の劣化を示している。
• 2つの評価プロトコルを用いる：再構成誤差のみを用いるものと、再構成誤差とディリクレスコアの両方を用いるもの。また、コンパクトネス損失と位置エンコーディングのアブレーションを実施。
• 計算コストの優位性を示すために、再構成ベースのスコアリングと判別的後処理の速度比較を実施。

実験結果

リサーチクエスチョン

• RQ1 生成的モデル（GANなど）は、1クラス異常検出のためのより強固で抽象的な意味的表現を学習できるようにどのように強化できるか？
• RQ2 自己教師あり幾何変換タスクにおける、絶対的位置情報が生成的および判別的コンポーネントの表現学習能力に与える影響は何か？
• RQ3 判別的・生成的ハイブリッドフレームワークは、純粋な判別的手法と同等の性能を達成しつつ、より高速な推論速度を維持できるか？
• RQ4 識別器に指導された表現学習は、従来の画素レベル再構成と比較して、異常検出AUCにおいてどのように異なるか？

主な発見

• DGADは、CIFAR-10でSOTA GANベースラインを6%、MVTADで2%向上させ、1クラス異常検出における顕著な向上を示した。
• 識別器の指導による表現学習は、再構成誤差のみを用いる標準GANと比較して、AUCを5.4–7.5%向上させた。
• コンパクトネス損失が欠落すると、性能が2–2.9%低下し、表現学習の安定化においてその重要性が確認された。
• 絶対的位置情報は、幾何変換タスクにおける生成器の意味的表現学習能力を低下させ、ゼロパディングやcoordconvを用いることで1–2%の性能低下を引き起こした。
• 対照的に、絶対的位置情報は識別器の分類精度を向上させるが、この利点は生成器には伝播せず、タスク依存的な影響であることが示された。
• 再構成ベースの異常スコア（s_rec）は、ディリクレスコアベースの方法（s_dir）よりも3.6～8.5倍高速であり、s_dirと同等の性能を達成しながらも、はるかに効率的であった。