[論文レビュー] Fake It Till You Make It: Towards Accurate Near-Distribution Novelty Detection

Hossein Mirzaei, Mohammadreza Salehi+5 more|arXiv (Cornell University)|May 28, 2022

Anomaly Detection Techniques and Applications被引用数 4

ひとこと要約

本論文は、新奇検出モデルの学習用に近分布異常データを合成するスコアベースの生成モデルを提案し、微細で意味的に類似した異常において顕著に性能を向上させた。これらの合成された近異常データでファインチューニングすることで、標準的および近分布新奇検出の間の性能差を縮小し、医療画像や産業品質管理を含む多様なデータセットで最先端のAUROCスコアを達成した。

ABSTRACT

We aim for image-based novelty detection. Despite considerable progress, existing models either fail or face a dramatic drop under the so-called "near-distribution" setting, where the differences between normal and anomalous samples are subtle. We first demonstrate existing methods experience up to 20% decrease in performance in the near-distribution setting. Next, we propose to exploit a score-based generative model to produce synthetic near-distribution anomalous data. Our model is then fine-tuned to distinguish such data from the normal samples. We provide a quantitative as well as qualitative evaluation of this strategy, and compare the results with a variety of GAN-based models. Effectiveness of our method for both the near-distribution and standard novelty detection is assessed through extensive experiments on datasets in diverse applications such as medical images, object classification, and quality control. This reveals that our method considerably improves over existing models, and consistently decreases the gap between the near-distribution and standard novelty detection performance. The code repository is available at https://github.com/rohban-lab/FITYMI.

研究の動機と目的

• 標準的でないが分布的に近い異常（近分布異常）に対して、最先端の新奇検出モデルが顕著な性能低下を示す問題に対処する。
• PANDA や CSI といった最先端モデルを含む既存手法が、近分布新奇検出（near-ND）設定において最大20%のAUROC低下を示すことを特定する。
• GANベースの手法やオーバーライア・エクposure手法の近分布新奇検出における限界を、制御可能で安定した生成アプローチによって克服する。
• 医療画像やオブジェクト分類を含む多様な分野において、標準的および近分布新奇検出の両方で一貫した性能向上を示す。
• 合成された意味的に近い異常サンプルを用いた有効な学習により、標準的と近分布新奇検出の間の性能差を是正する。

提案手法

• 潜在空間における正規データへの制御されたノイズの摂動を用いて、スコアベースの生成モデル（SDE）により近分布異常サンプルを合成する。
• 正規データと生成された近異常データの両方を用いて、事前学習済み特徴抽出器をファインチューニングし、識別能力を向上させる。
• 推論では特徴空間におけるk-NNベースの異常スコアリングを活用し、ファインチューニング済みモデルを用いてテストサンプルと訓練特徴間の距離を計算する。
• 生成サンプルの品質と多様性を評価するため、密度とカバレッジ指標を活用し、意味的に妥当で代表的なサンプルであることを保証する。
• FIDスコアに基づくストップコントロールを用いて、過学習やモード崩壊を回避しながら高品質な生成を保証する。
• 2段階の訓練プロトコルを採用：まず正規データで事前学習し、その後合成された近異常データでファインチューニングすることで、微細な外れ値への一般化能力を向上させる。

実験結果

リサーチクエスチョン

• RQ1 最先端の新奇検出モデルが、正規データと意味的に類似した近分布異常に対してなぜ失敗するのか？
• RQ2 異常が正規サンプルとわずかに異なる場合、合成データ生成が新奇検出性能を向上させ得るか？
• RQ3 GAN やオーバーライア・エクposureと比較して、スコアベースの生成モデルは、効果的な近異常を生成する上でどのように優れているか？
• RQ4 合成された近異常データでファインチューニングすることで、標準的と近分布新奇検出の間の性能差をどの程度是正できるか？
• RQ5 k-NNの選択や訓練ストップポイントといったハイパーパrameterに対して、提案手法はロバストか？

主な発見

• PANDA や CSI を含む既存の最先端新奇検出モデルは、近分布新奇検出（near-ND）設定において、標準的新奇検出と比較して最大20%のAUROC低下を示す。
• 提案手法は、Weather データセットでAUROC 97.0、WBC で91.2を達成し、近分布新奇検出において既存手法を顕著に上回った。
• MvTecAD データセットでは、近分布新奇検出でAUROC 86.4を達成し、次に良い手法よりも6ポイント以上優れていた。
• k-NNの選択や訓練ストップポイントに対して、FIDスコアが異なる設定間で最大2%の変動にとどまり、手法のロバスト性を示した。
• 標準的と近分布新奇検出の間の性能差を縮小し、全評価データセットおよびバックボーンモデルで一貫した性能向上を達成した。
• スコアベースの生成モデル（SDE）を用いることで、GANに見られるモード崩壊や不安定性を回避し、安定的かつ高品質な近異常生成が可能になった。