[論文レビュー] Iterative energy-based projection on a normal data manifold for anomaly localization

David Dehaene, Oriel Frigo+2 more|arXiv (Cornell University)|Feb 10, 2020

Anomaly Detection Techniques and Applications被引用数 67

ひとこと要約

本論文は、学習済みの正常データ多様体に対する入力の反復的勾配降下投影を提案し、オートエンコーダ再構成から導出されるエネルギーを用いて異常局在化とインペインティングを改善する。入力空間（潜在空間ではなく）で入力を更新し、ピクセルごとの再構成誤差を利用して高速収束を導く。

ABSTRACT

Autoencoder reconstructions are widely used for the task of unsupervised anomaly localization. Indeed, an autoencoder trained on normal data is expected to only be able to reconstruct normal features of the data, allowing the segmentation of anomalous pixels in an image via a simple comparison between the image and its autoencoder reconstruction. In practice however, local defects added to a normal image can deteriorate the whole reconstruction, making this segmentation challenging. To tackle the issue, we propose in this paper a new approach for projecting anomalous data on a autoencoder-learned normal data manifold, by using gradient descent on an energy derived from the autoencoder's loss function. This energy can be augmented with regularization terms that model priors on what constitutes the user-defined optimal projection. By iteratively updating the input of the autoencoder, we bypass the loss of high-frequency information caused by the autoencoder bottleneck. This allows to produce images of higher quality than classic reconstructions. Our method achieves state-of-the-art results on various anomaly localization datasets. It also shows promising results at an inpainting task on the CelebA dataset.

研究の動機と目的

• 異常がまれでラベルが不足している産業検査における無監督の異常局在化を動機づける。
• オートエンコーダの損失から定義されたエネルギーを最適化して、異常入力を正規データ多様体に射影する方法を提案する。
• 正規化項を組み込み、予想される異常と高周波情報の保存に priors をエンコードする。
• MVTecデータセットで最先端の異常局在化を示し、CelebAでのインペインティング結果の有望さを示す。

提案手法

• 正常データ上でオートエンコーダを訓練して正規多様体を学習する。
• オートエンコーダの再構成損失に基づく異常検出器 A(x) をしきい値 T で定義する。
• エネルギー E(x) = L_r(x) + lambda * ||x - x0||_1 を構築し、x0 から始めて入力空間で勾配降下を実行して E(x) を最小化する。
• L1距離を L0 の代理として最小の変化を正規化するために使用する。
• アダプティブスキームで勾配更新を強化する：オプションとして Adam の使用とピクセル-wise 重み付け項 (x - f_VAE(x))^2 の導入で収束を速め、高周波ディテールを保持する。
• トレーニングデータから導出された損失閾値に基づくストップ基準を提供する。

実験結果

リサーチクエスチョン

• RQ1 入力をVAE/オートエンコーダが学習した正規多様体に対して反復的勾配ベースの射影を行うことで、標準の再構成と比べて異常局在化が改善されるか。
• RQ2 正規化項と高周波を保持する勾配更新を組み込むと、局在化とインペインティング品質が向上するか。
• RQ3 提案手法は標準的な異常局在化ベンチマーク（例：MVTec）およびインペインティングタスク（例：CelebA）でどう機能するか。

主な発見

• 本手法はMVTecデータセットの複数のベースラインにおいて異常セグメンテーションを改善し、AUROCの平均で9.52%の改善をもたらす。
• 勾配ベースの反復再構成は、標準のオートエンコーダ再構成で失われる高周波の画像詳細を保持することで、より高品質な局在化を生み出す傾向がある。
• ピクセル-wise再構成誤差を勾配更新の指針として使用すると収束が速まり、構造を保持し、少ない反復で同等の性能を達成する。
• このアプローチはCelebAの画像インペインティングにも有望な結果を示し、マスク/ノイズがある場合のベースラインVAE再構成より改善。
• 再構成損失閾値に基づくストップ基準は勾配降下を効率的に終了させ、実用的な適用を可能にする。