[논문 리뷰] CRADL: Contrastive Representations for Unsupervised Anomaly Detection and Localization

Carsten T. Lüth, David Zimmerer외 5명|arXiv (Cornell University)|2023. 01. 05.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

CRADL는 의료 영상에서 비지도 이상 탐지 및 국소화를 위한 대조적 표현 기반 프레임워크를 제안한다. 자기지도 대조 학습을 활용해 신경 인코더에서 의미 정보가 풍부한 특징을 추출한다. 이 표현 공간에서 정상 데이터 분포를 단순한 생성 모델로 모델링함으로써 CRADL는 특히 미세한 의미적 이탈을 탐지하는 데 있어 최신 기술을 초월하는 성능을 달성한다. 이미지 공간의 생성 모델 및 이전의 표현 기반 방법보다 뛰어나다.

ABSTRACT

Unsupervised anomaly detection in medical imaging aims to detect and localize arbitrary anomalies without requiring annotated anomalous data during training. Often, this is achieved by learning a data distribution of normal samples and detecting anomalies as regions in the image which deviate from this distribution. Most current state-of-the-art methods use latent variable generative models operating directly on the images. However, generative models have been shown to mostly capture low-level features, s.a. pixel-intensities, instead of rich semantic features, which also applies to their representations. We circumvent this problem by proposing CRADL whose core idea is to model the distribution of normal samples directly in the low-dimensional representation space of an encoder trained with a contrastive pretext-task. By utilizing the representations of contrastive learning, we aim to fix the over-fixation on low-level features and learn more semantic-rich representations. Our experiments on anomaly detection and localization tasks using three distinct evaluation datasets show that 1) contrastive representations are superior to representations of generative latent variable models and 2) the CRADL framework shows competitive or superior performance to state-of-the-art.

연구 동기 및 목표

• 생성 모델이 저수준 영상 통계(예: 픽셀 강도)에 과적합하는 경향이 있어 의미 특징을 포착하지 못하는 데서 비롯되는 한계를 해결하기 위해.
• 자기지도 대조 표현이 비지도 이상 탐지 및 국소화 성능을 향상시킬 수 있는지 조사하기 위해.
• 표현 학습과 분포 모델링을 분리함으로써 더 나은 일반화 및 확장성을 확보할 수 있는 단순하고 효과적인 프레임워크를 개발하기 위해.
• 대조적 표현이 이미지 공간의 생성 모델보다 미세하고 다양한 이상을 더 신뢰성 있게 탐지할 수 있음을 입증하기 위해.

제안 방법

• 정상 의료 영상에서 의미 있는 표현을 학습하기 위해 신경 인코더를 훈련시키기 위해 자기지도 대조 사전 학습 태스크(예: SimCLR를 영감으로 삼음)를 사용한다.
• 학습된 표현은 잠재 공간에서 정상 샘플의 분포를 모델링하기 위해 단순한 생성 모델(GMM 또는 VAE 등)의 입력으로 사용된다.
• 이상 탐지는 표현 공간에서 재구성 오차 또는 가능도 점수를 계산함으로써 수행되며, 높은 점수는 이상을 나타낸다.
• 국소화를 위해 병렬 또는 볼륨 단위의 재구성 오차를 계산하여 이상 지apap을 생성하며, 픽셀 수준의 이상 국소화가 가능하다.
• 모델은 정상 데이터만으로 훈련되기 때문에 완전히 비지도이며, 실생활 임상 적용에 적합하다.
• 세 가지 다른 데이터셋(BraTS, ISLES, HCP Synth)에서 평가되었으며, 다양한 병변과 영상 모odalities를 포함한다.

실험 결과

연구 질문

• RQ1 자기지도 사전 학습을 통해 학습된 대조적 표현이 이미지 공간의 생성 모델에 비해 비지도 이상 탐지 및 국소화 성능을 향상시킬 수 있는가?
• RQ2 의미 수준의 미세한 이탈을 탐지할 때, 이미지 공간에서 직접 생성 모델링을 수행하는 것보다 표현 기반 이상 탐지가 더 우수한가?
• RQ3 표현 공간에서 생성 모델의 선택(GMM 대비 VAE 등)이 탐지 및 국소화 성능에 어떤 영향을 미치는가?
• RQ4 대조적 표현이 배경 강도나 스캔 잡음과 같은 저수준 특징에 대한 과도한 의존도를 얼마나 줄이는가?
• RQ5 CRADL는 애초에 이상 레이블이 없는 상황에서도 다양한 영상 모달리티와 병변에 일반화될 수 있는가?

주요 결과

• SimCLR 스타일의 대조 사전 학습을 통해 학습된 대조적 표현은 특히 미세한 의미적 이탈을 탐지하는 데서 변분 오토에인도어(Variational Autoencoders)보다 유의미하게 뛰어난 성능을 보였다.
• BraTS 및 ISLES 데이터셋에서 최신 비지도 이상 탐지 방법과 비교해 경쟁적 또는 더 뛰어난 성능을 달성했다.
• 이상 국소화의 경우, 대조적 표현에 대해 적용된 가우시안 믹스처 모델(GMM)이 VAE와 같은 더 복잡한 모델보다 성능이 뛰어나, 표현 공간에서 단순성이 효과적임을 시사한다.
• 분포 이탈에 대해 강건하며, 미세한 연령 관련 또는 레이블이 없는 이상을 시뮬레이션하는 HCP Synth 데이터셋에서 가장 우수한 성능을 보였다.
• 자기지도 사전 태스크를 사용하는 ceVAE는 표준 VAE보다 성능이 뛰어나, 자기지도 표현 학습의 유용성을 추가로 입증했다.
• 낮은 차원의 의미 정보가 풍부한 표현 공간 덕분에 분포 피팅에 필요한 데이터 요구량이 줄어들기 때문에, 정상 데이터가 제한된 상황에서도 프레임워크가 특히 효과적이다.