[논문 리뷰] FRODO: Free rejection of out-of-distribution samples: application to chest x-ray analysis

Erdi Çallı, Keelin Murphy외 2명|arXiv (Cornell University)|2019. 04. 16.

COVID-19 diagnosis using AI인용 수 2

한 줄 요약

이 논문은 사전 훈련된 ResNet-50 모델의 중간 특징 활성화에서 맨하탄 거리(Mahalanobis distance)를 사용하여 분포 외(out-of-distribution, OOD) 체스트 X-ray 영상 감지하기 위한 새로운 방법 FRODO를 제안한다. 추가 훈련 데이터가 필요 없이 FRODO는 내분포(in-distribution)와 OOD 샘플을 구분하는 데 AUC 0.99를 달성하여 다양한 해부학적 오류 및 방향 오류에서 강력한 일반화 성능을 보여준다.

ABSTRACT

In this work, we propose a method to reject out-of-distribution samples which can be adapted to any network architecture and requires no additional training data. Publicly available chest x-ray data (38,353 images) is used to train a standard ResNet-50 model to detect emphysema. Feature activations of intermediate layers are used as descriptors defining the training data distribution. A novel metric, FRODO, is measured by using the Mahalanobis distance of a new test sample to the training data distribution. The method is tested using a held-out test dataset of 21,176 chest x-rays (in-distribution) and a set of 14,821 out-of-distribution x-ray images of incorrect orientation or anatomy. In classifying test samples as in or out-of distribution, our method achieves an AUC score of 0.99.

연구 동기 및 목표

• 진단 모델을 오도할 수 있는 분포 외 의료 영상 감지 문제를 해결하기 위해.
• 추가 훈련 데이터나 아키텍처 수정 없이 OOD 샘플을 감지할 수 있는 방법을 개발하기 위해.
• 내분포 훈련 데이터만을 사용하여 임상 영상 처리 파이프라인에서 강력한 OOD 감지를 가능하게 하기 위해.
• 불완전한 X-ray 방향 또는 비정상 해부학적 구조와 같은 실제 세계의 OOD 사례에서의 성능 평가를 위해.

제안 방법

• 사전 훈련된 ResNet-50 모델의 중간 레이어에서의 특징 활성화를 내분포 데이터의 기술적 특징으로 사용한다.
• FRODO는 테스트 샘플의 특징 벡터와 훈련 특징의 분포 사이의 맨하탄 거리를 계산하여 OOD 가능성도를 측정한다.
• 훈련 데이터의 분포는 ResNet-50의 중간 레이어에서의 활성화 특징의 공분산 행렬을 사용하여 모델링한다.
• 이 방법은 아키텍처에 종속되지 않으며, 중간 특징을 추출함으로써 어떤 딥 네URAL 네트워크에도 적용 가능하다.
• 맨하탄 거리에 대한 임계값을 사용하여 샘플을 내분포 또는 분포 외로 분류한다.

실험 결과

연구 질문

• RQ1 추가 훈련 데이터가 필요 없이 OOD 체스트 X-ray 영상을 감지할 수 있는가?
• RQ2 중간 특징에 대한 맨하탄 거리의 성능은 내분포와 OOD X-ray 영상을 얼마나 잘 구분하는가?
• RQ3 불완전한 해부학 또는 영상 방향 오류와 같은 다양한 OOD 사례로 일반화 가능한가?
• RQ4 OOD 감지의 AUC 기준으로 이 방법의 성능은 어떠한가?

주요 결과

• FRODO는 내분포 체스트 X-ray 영상과 분포 외 샘플을 구분하는 데 AUC 0.99를 달성하여 뛰어난 분류 성능을 보였다.
• 이 방법은 잘못된 해부학적 방향 또는 비정상 해부학적 구조를 가진 영상과 같은 OOD 샘플을 성공적으로 감지하였다.
• 추가 훈련 데이터가 필요 없었으며, 오직 사전 훈련된 ResNet-50와 그 중간 특징 통계에 의존하였다.
• 특징 활성화에 대한 맨하탄 거리의 사용은 의료 영상에서 OOD 감지에 매우 효과적임을 입증하였다.