[논문 리뷰] Anomaly Detection on X-Rays Using Self-Supervised Aggregation Learning

Behzad Bozorgtabar, Dwarikanath Mahapatra외 2명|arXiv (Cornell University)|2020. 10. 19.

Anomaly Detection Techniques and Applications참고 문헌 29인용 수 5

한 줄 요약

이 논문은 NIH 흉부 X-ray 및 MURA 데이터셋에서 훈련 중 비정상 레이블을 사용하지 않고도 최신 기술 수준의 성능을 달성하는 자기지도 학습 딥러닝 프레임워크인 SALAD를 제안한다. 이는 메모리 백과 유사도 집계를 통해 원형 정상 패턴을 학습한다.

ABSTRACT

Deep anomaly detection models using a supervised mode of learning usually work under a closed set assumption and suffer from overfitting to previously seen rare anomalies at training, which hinders their applicability in a real scenario. In addition, obtaining annotations for X-rays is very time consuming and requires extensive training of radiologists. Hence, training anomaly detection in a fully unsupervised or self-supervised fashion would be advantageous, allowing a significant reduction of time spent on the report by radiologists. In this paper, we present SALAD, an end-to-end deep self-supervised methodology for anomaly detection on X-Ray images. The proposed method is based on an optimization strategy in which a deep neural network is encouraged to represent prototypical local patterns of the normal data in the embedding space. During training, we record the prototypical patterns of normal training samples via a memory bank. Our anomaly score is then derived by measuring similarity to a weighted combination of normal prototypical patterns within a memory bank without using any anomalous patterns. We present extensive experiments on the challenging NIH Chest X-rays and MURA dataset, which indicate that our algorithm improves state-of-the-art methods by a wide margin.

연구 동기 및 목표

• X-ray 영상에서 긴 꼬리 분포와 희귀 이상 현상으로 인한 일반화 능력 부족 문제를 해결한다.
• 비용이 많이 드는 방사선 전문의가 레이블링한 이상 현상에 대한 의존도를 줄이기 위해 완전히 자기지도 학습을 가능하게 한다.
• 잠재 공간에서 강력한 원형 패턴을 형성하기 위해 정상 X-ray 특징의 군집화를 향상시킨다.
• 이전에 볼 수 없었던 비균형 이상 현상에 잘 일반화되며, 이전에 볼 수 있었던 희귀 클래스에 과적합되지 않는 방법을 개발한다.
• 임상 X-ray 데이터셋에서 비지도 및 준지도 이상 검출 환경 모두에서 최신 기술 수준의 성능을 달성한다.

제안 방법

• 이미지 표현과 재구성을 학습하기 위해 컨volutional 인코더와 전치 디코더를 갖춘 딥 오토에인코더 백본을 사용한다.
• 정상 훈련 샘플의 특징 임베딩을 저장하기 위해 메모리 백을 유지한다.
• 각 샘플과 임베딩 공간에서 가장 가까운 이웃들 사이의 유사도 분포의 엔트로피를 최소화하는 자기지도 손실을 최적화한다.
• 유사한 정상 샘플들이 학습된 프로토타입 주변에 단단히 군집하도록 유도하는 새로운 집계 손실($\mathcal{L}_{\text{agg}}$)을 도입한다.
• 표현 학습의 안정성을 높이기 위해 대비 목표와 온도 조정된 교차 엔트로피 손실을 사용한 점진적 훈련을 적용한다.
• 시험 이미지 특징과 메모리 백 내에서 가장 대표적인 정상 프로토타입 간의 가중 유사도를 이상도 점수로 계산한다.

실험 결과

연구 질문

• RQ1 메모리 백을 활용한 자기지도 표현 학습이 비정상 레이블 없이도 X-ray 이상 검출 성능을 향상시킬 수 있는가?
• RQ2 제안된 집계 손실이 표준 대비 또는 재구성 손실에 비해 원형 정상 패턴 형성에 어떻게 기여하는가?
• RQ3 SALAD는 감지된 적이 없는 희귀 이상 현상에 대해 기존의 감독 또는 준지도 기반 방법에 비해 얼마나 잘 일반화되는가?
• RQ4 자기지도 학습임을 감안할 때, 훈련 중 비정상 레이블 데이터의 포함 여부에 따라 SALAD의 성능에 얼마나 민감한가?
• RQ5 이 방법은 비지도 및 준지도 설정 모두에서 NIH 및 MURA와 같은 여러 임상 X-ray 벤치마크에서 최신 기술 수준의 결과를 달성할 수 있는가?

주요 결과

• SALAD는 NIH 흉부 X-ray 데이터셋에서 모든 최신 기술 수준의 비지도 및 자기지도 이상 검출 방법보다 뛰어나며, 기준 모델인 MemDAE에 비해 AUC에서 5.8%p의 절대적 향상을 달성한다.
• MURA 데이터셋에서 SALAD는 기존 방법들에 비해 뚜렷한 성능 향상을 보이며, AUC 및 AUPRC 지표 모두에서 유의미한 개선을 이룬다.
• Deep SAD 및 ResNet-18과 같은 준지도 및 감독 기반 기준 모델들조차도 비정상 레이블을 사용하지만, SALAD는 희귀 클래스에 과적합되는 것을 줄여 더 낮은 과적합도를 보이며 슈퍼리오르하다.
• 제거 실험 결과, 집계 손실($\mathcal{L}_{\text{agg}}$)과 MSE 재구성 손실($\mathcal{L}_{\text{mse}}$) 모두 성능 향상에 기여하며, 특히 $\mathcal{L}_{\text{agg}}$가 매우 효과적임을 확인한다.
• SALAD는 비정상 레이블 데이터 비율(최대 15%)에 대해 낮은 민감도를 보이며, 강건성과 자기지도 학습 성격을 확인한다.
• SALAD는 NIH 및 MURA 데이터셋에서 모두 비지도 및 준지도 설정을 포함한 모든 학습 환경에서 최신 기술 수준의 성능을 달성한다.