[論文レビュー] Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection

David Zimmerer, Simon Köhl+3 more|arXiv (Cornell University)|Dec 14, 2018

Anomaly Detection Techniques and Applications参考文献 25被引用数 82

ひとこと要約

この論文は ceVAE を提案する。Context Encoders と Variational Autoencoders の組み合わせで医用画像の教師なし異常検知を行い、サンプルおよびピクセル単位の異常局在を改善し、BraTS-2017 と ISLES-2015 データセットで教師なし ROC-AUC の最先端を達成している。

ABSTRACT

Unsupervised learning can leverage large-scale data sources without the need for annotations. In this context, deep learning-based auto encoders have shown great potential in detecting anomalies in medical images. However, state-of-the-art anomaly scores are still based on the reconstruction error, which lacks in two essential parts: it ignores the model-internal representation employed for reconstruction, and it lacks formal assertions and comparability between samples. We address these shortcomings by proposing the Context-encoding Variational Autoencoder (ceVAE) which combines reconstruction- with density-based anomaly scoring. This improves the sample- as well as pixel-wise results. In our experiments on the BraTS-2017 and ISLES-2015 segmentation benchmarks, the ceVAE achieves unsupervised ROC-AUCs of 0.95 and 0.89, respectively, thus outperforming state-of-the-art methods by a considerable margin.

研究の動機と目的

• 医用画像における教師なし異常検知の動機づけ：アノテーション不足とサンプル-およびピクセルレベルの局在の必要性。
• 再構成誤差と併せてモデル内部の潜在偏差を取り入れて異常スコアリングを改善。
• formal, comparable scores を用いたピクセル単位の異常局在機構を提供。
• 公共ベンチマーク BraTS-2017 および ISLES-2015 で教師なしセグメンテーション性能の最先端を示す。

提案手法

• CEの重みを共有エンコーダを用いてContext Encoder (CE) と Variational Autoencoder (VAE) を統合し ceVAE を導入。
• CEブランチ: 入力領域をマスキングしてコンテキストエンコーディングノイズを適用し、CE目的で撹乱入力を再構成して頑健で意味的に有意な表現を得る。
• VAEブランチ: 潜在事前分布 p(z) を用いた標準的な VAE を用い、KL発散 L_KL と再構成損失 L_rec_VAE を用いてサンプルごとの尤度推定を得る。
• CE と VAE をジョイント目的関数 L_ceVAE = L_KL + L_rec_VAE + L_rec_CE として結合し、潜在偏差とキャリブレーション済み再構成誤差の両方を捕捉。
• 異常スコア: サンプル単位の異常スコアを log p(x) ≈ L_KL + L_rec_VAE と計算; ピクセル単位のスコアは再構成誤差と ELBO の勾配を入力へ逆伝搬した勾配から導かれる派生を組み合わせて算出（KL項のバックプロパゲーションを介して）。
• 主な式: (2) ELBO, (4) 標準 VAE 損失, (5) L_VAE, (6) L_ceVAE, (7) サンプル単位の対数確率, (8) ピクセル単位異常スコア。

実験結果

リサーチクエスチョン

• RQ1 ceVAE は医用画像の教師なし異常検知を再構成ベースの AE や素の vanilla VAE より改善できるか？
• RQ2 CE と VAE の組み合わせは、どちらの成分単独よりピクセル単位局在とサンプル単位スコアリングを向上させるか？
• RQ3 後方確率から事前分布への KL 発散を統合することは、ピクセルレベルで異常領域をどのように描くのに役立つか？
• RQ4 提案されたスコアは教師なし異常検知の公的ベンチマークでサンプル間でキャリブレーションされ比較可能か？

主な発見

• ceVAE は BraTS-2017 および ISLES-2015 において OC-SVM やさまざまな AE ベースのベースラインをピクセル単位の異常検出とサンプル単位 ROC-AUC の両方で上回る。
• 再構成誤差と KL 発散の勾配をピクセル単位で融合した手法は、データセット全体で優れたセグメンテーション性能を発揮。
• CE と VAE の組み合わせは正則化効果をもたらし、後方崩壊を回避してより識別力のある潜在表現を得る。
• 手法は教師なしの ROC-AUC を 0.95 (BraTS-2017) および 0.89 (ISLES-2015) を達成。
• CE 単独は再構成ベースの指標で優れ、VAE 単独は勾配ベースの指標で優れ、両者の組み合わせ（ceVAE）は一貫して最高の結果を出す。