[논문 리뷰] Constrained Contrastive Distribution Learning for Unsupervised Anomaly Detection and Localisation in Medical Images

Yu Tian, Guansong Pang외 6명|arXiv (Cornell University)|2021. 03. 05.

Anomaly Detection Techniques and Applications참고 문헌 48인용 수 5

한 줄 요약

이 논문은 의료 영상에서 비정상 병변의 비지도 이상 탐지 및 국소화를 위한 자기지도 학습 표현 학습 방법인 제약 조건이 부여된 대비 분포 학습(Constrained Contrastive Distribution Learning, CCD)을 제안한다. 증강과 패치 위치에 대한 사전 제약 조건을 함께 최적화함으로써 CCD는 미세한 정상성 표현을 학습하여 미세한 병변의 탐지 성능을 크게 향상시키며, Hyper-Kvasir에서 97.2%의 최고 성능 AUC 스코어를 달성하고, 세 가지 의료 영상 기준 벤치마크에서 이전 최고 성능(SOTA) 방법을 능가한다.

ABSTRACT

Unsupervised anomaly detection (UAD) learns one-class classifiers exclusively with normal (i.e., healthy) images to detect any abnormal (i.e., unhealthy) samples that do not conform to the expected normal patterns. UAD has two main advantages over its fully supervised counterpart. Firstly, it is able to directly leverage large datasets available from health screening programs that contain mostly normal image samples, avoiding the costly manual labelling of abnormal samples and the subsequent issues involved in training with extremely class-imbalanced data. Further, UAD approaches can potentially detect and localise any type of lesions that deviate from the normal patterns. One significant challenge faced by UAD methods is how to learn effective low-dimensional image representations to detect and localise subtle abnormalities, generally consisting of small lesions. To address this challenge, we propose a novel self-supervised representation learning method, called Constrained Contrastive Distribution learning for anomaly detection (CCD), which learns fine-grained feature representations by simultaneously predicting the distribution of augmented data and image contexts using contrastive learning with pretext constraints. The learned representations can be leveraged to train more anomaly-sensitive detection models. Extensive experiment results show that our method outperforms current state-of-the-art UAD approaches on three different colonoscopy and fundus screening datasets. Our code is available at https://github.com/tianyu0207/CCD.

연구 동기 및 목표

• 정상 훈련 데이터만을 사용하여 의료 영상에서 미세한 이상을 탐지하는 데 도전하는 것.
• 이상 탐지에 특화된 사전 작업을 설계하여 비지도 표현 학습을 향상시키는 것.
• 작은 병변에 민감한 구분 능력 있는 정상성 표현을 학습하는 것.
• 아키텍처 변경 없이 다양한 후행 비지도 이상 탐지 모델에 적용 가능한 사전 훈련 방법을 개발하는 것.
• 다양한 의료 영상 데이터셋에서 이상 탐지 및 국소화 성능 모두에서 최고 성능을 달성하는 것.

제안 방법

• CCD는 정상 영상의 강한 증강된 시각을 비교함으로써 정상 패atters의 구분 능력 있는 분포를 학습하도록 하는 대비 분포 학습을 사용한다.
• 두 가지 사전 제약 조건을 도입한다: (1) 영상에 적용된 증강 유형을 예측하는 것, (2) 섞인 후 영상 패치의 공간적 위치를 예측하는 것.
• 대비 분포 손실, 증강 유형 예측 손실, 패치 위치 예측 손실의 세 가지 손실을 함께 최적화한다.
• 프레임워크는 정상 영상만으로 사전 훈련되며, IGD, F-anoGAN, MS-SSIM 등의 후행 비지도 이상 탐지 모델과 함께 미세조정된다.
• 이 방법은 후행 이상 탐지기와 무관하므로 다양한 비지도 이상 탐지 아키텍처로의 전이가 가능하다.
• 추론 단계에서는 사전 훈련된 특징을 사용하여 재구성 오차 또는 이상 스코어 기반으로 이상을 재구성하거나 탐지한다.

실험 결과

연구 질문

• RQ1 사전 제약 조건이 부여된 대비 분포 학습이 의료 영상에서 미세한 이상을 탐지하기 위한 자기지도 표현 학습을 향상시키는가?
• RQ2 증강 유형 예측과 패치 위치 예측을 함께 최적화하는 것이 표준 대비 학습보다 더 구분 능력 있는 정상성 표현을 만드는가?
• RQ3 제안된 자기지도 사전 훈련 방법이 다양한 비지도 이상 탐지 모델과 데이터셋에서 최고 성능을 달성하는가?
• RQ4 AUC 및 국소화 IoU 측면에서 제안된 방법이 완전 지도 학습 및 이전 비지도 방법보다 어떻게 비교되는가?
• RQ5 사전 훈련 단계에서 비정상 데이터가 존재하지 않을 경우, 완전 지도 학습 기반 모델 대비 탐지 성능에 어떤 영향을 미치는가?

주요 결과

• IGD 이상 탐지기와 함께 사용할 경우, CCD는 하이퍼-카스티어 대장내 endoscopy 데이터셋에서 최고 성능 AUC 97.2%를 달성하며, 이는 이전 SOTA 방법을 능가한다.
• 절단 분석 결과, 분포 대비 손실을 추가하면 표준 대비 학습 대비 AUC가 2.4% 향상되고, 두 사전 제약 조건을 추가로 적용하면 각각 2.7%와 0.8%의 추가 향상이 이루어진다.
• 류 등의 대장내 endoscopy 데이터셋에서, IGD 탐지기와 조합했을 경우 기준선 AUC가 12.2% 향상된다.
• LAG 망막 영상 데이터셋에서, IGD 탐지기와 함께 사용했을 경우 기준선 AUC가 7.8% 향상되었고, 87.4%의 AUC를 달성한다.
• 이상 국소화 측면에서, CCD는 하이퍼-카스티어에서 평균 IoU 0.372를 기록하여 SOTA CAVGA-Ru 방법보다 3% 이상 뛰어나다.
• 비정상 데이터를 사전 훈련 중에 전혀 사용하지 않아도, 완전 지도 학습 기반의 U-Net 기반 모델 대비 국소화 성능에서 IoU가 0.3–0.4 감소할 뿐이다.