[論文レビュー] CRADL: Contrastive Representations for Unsupervised Anomaly Detection and Localization

Carsten T. Lüth, David Zimmerer+5 more|arXiv (Cornell University)|Jan 5, 2023

Anomaly Detection Techniques and Applications被引用数 5

ひとこと要約

CRADLは、自己教師付きコントラスト学習を用いてニューラルエンコーダーから意味的特徴を抽出することで、医療画像における教師なし異常検出および局所化のためのコントラスト表現ベースのフレームワークを提案する。この表現空間において、単純な生成モデルを用いて正常データの分布をモデル化することで、特に微細な意味的逸脱を検出する際、画像空間における生成モデルや先行の表現ベース手法を上回る最先端の性能を達成する。

ABSTRACT

Unsupervised anomaly detection in medical imaging aims to detect and localize arbitrary anomalies without requiring annotated anomalous data during training. Often, this is achieved by learning a data distribution of normal samples and detecting anomalies as regions in the image which deviate from this distribution. Most current state-of-the-art methods use latent variable generative models operating directly on the images. However, generative models have been shown to mostly capture low-level features, s.a. pixel-intensities, instead of rich semantic features, which also applies to their representations. We circumvent this problem by proposing CRADL whose core idea is to model the distribution of normal samples directly in the low-dimensional representation space of an encoder trained with a contrastive pretext-task. By utilizing the representations of contrastive learning, we aim to fix the over-fixation on low-level features and learn more semantic-rich representations. Our experiments on anomaly detection and localization tasks using three distinct evaluation datasets show that 1) contrastive representations are superior to representations of generative latent variable models and 2) the CRADL framework shows competitive or superior performance to state-of-the-art.

研究の動機と目的

• 生成モデルが低レベルの画像統計（ピクセル強度など）に過剰に適合する傾向があることによる意味的特徴の捉え不足という限界を是正すること。
• 自己教師付きコントラスト表現が、医療画像における教師なし異常検出および局所化をどのように改善できるかを調査すること。
• 表現学習と分布モデリングを分離することで、より良好な汎化性とスケーラビリティを実現する、シンプルで効果的なフレームワークの開発。
• コントラスト表現が、画像空間における生成モデルと比較して、微細で多様な異常をより信頼性高く検出可能であることを示すこと。

提案手法

• SimCLRをインspiredした自己教師付きコントラスト事前学習タスクを用いて、ニューラルエンコーダーを、正常な医療画像から意味的に意味のある表現を学習するように訓練する。
• 学習された表現を、潜在空間における正常サンプルの分布をモデル化する単純な生成モデル（例：GMMやVAE）の入力として用いる。
• 再構成誤差または尤度スコアを表現空間で計算することで異常検出を実施し、スコアが高いほど異常と判定する。
• 局所化のためには、パッチ単位またはボクセル単位の再構成誤差を計算して異常マップを生成し、ピクセル単位での異常局所化を可能にする。
• 訓練は正常データのみに限定されるため、完全に教師なしであり、実臨床環境への導入に適している。
• 本手法は、異なる病理および画像モodalitiesをカバーする3つの異なるデータセット（BraTS、ISLES、HCP Synth）で評価された。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き事前学習によるコントラスト表現が、画像空間における生成モデルと比較して、教師なし異常検出および局所化をどのように改善できるか。
• RQ2 意味的レベルの逸脱（正常性からの微細なずれ）を検出する際、表現空間における異常検出が、画像空間に直接モデリングする生成モデルを上回るか。
• RQ3 表現空間における生成モデルの選択（例：GMM対VAE）が、検出および局所化性能に与える影響は。
• RQ4 コントラスト表現が、背景強度やスキャンアーティファクトなどの低レベル特徴への過剰な依存をどの程度軽減するか。
• RQ5 CRADLは、アノテート済みの異常を必要とせず、異なる画像モダリティおよび病理にわたって一般化可能か。

主な発見

• SimCLRスタイルのコントラスト事前学習により得られたコントラスト表現は、変分自己オートエンコーダーからのものと比較して、異常検出において顕著に優れており、特に微細な意味的逸脱の検出において顕著な優位性を示す。
• BraTSおよびISLESデータセットにおいて、最先端の教師なし異常検出手法と比較して、競争的または優れた性能を達成する。
• 異常局所化において、コントラスト表現にガウス・ミックスチャネル・モデル（GMM）を適用した場合、VAEなどのより複雑なモデルを上回る性能を示し、表現空間において単純さが有効であることを示している。
• 本手法は分布シフトに対して頑健であり、微細な年齢関連またはアノテートされていない異常を模擬するHCP Synthデータセットで最も優れた性能を示す。
• 自己教師付き事前学習タスクを用いたceVAEは、標準的なVAEを上回る性能を示しており、自己教師付き表現学習の有効性をさらに裏付けている。
• 本フレームワークは、低次元で意味的特徴に富んだ表現空間のおかげで、分布フィッティングに必要なデータ量が減少するため、正常データが限られた状況でも特に有効である。