[논문 리뷰] Out-of-Distribution Detection for Skin Lesion Images with Deep Isolation Forest

Xuan Li, Yuchen Lu외 2명|arXiv (Cornell University)|2020. 03. 20.

Cutaneous Melanoma Detection and Management참고 문헌 18인용 수 4

한 줄 요약

이 논문은 사전 훈련된 깊이 신경망과 고립 트리 기반 이상 탐지 기법을 융합한 비모수적 이상 분포(OOD) 탐지 방법인 DeepIF를 제안한다. 이는 피부 병변 영상에서의 OOD 탐지에 있어 최신 기술 수준의 성능을 달성하며, HAM10000 데이터셋에서 고전적 가우시안 기반 기준선 대비 OOD 탐지 AUC를 20% 향상시킨다. 이는 병변 내부의 다양성을 더 잘 포착함으로써 가능하다.

ABSTRACT

In this paper, we study the problem of out-of-distribution detection in skin disease images. Publicly available medical datasets normally have a limited number of lesion classes (e.g. HAM10000 has 8 lesion classes). However, there exists a few thousands of clinically identified diseases. Hence, it is important if lesions not in the training data can be differentiated. Toward this goal, we propose DeepIF, a non-parametric Isolation Forest based approach combined with deep convolutional networks. We conduct comprehensive experiments to compare our DeepIF with three baseline models. Results demonstrate state-of-the-art performance of our proposed approach on the task of detecting abnormal skin lesions.

연구 동기 및 목표

• 제한된 훈련 데이터셋(예: 8개 클래스의 HAM10000 데이터셋)에 포함되지 않은 피부 병변을 탐지하는 문제를 해결하기 위해.
• 피부 병변 영상의 높은 내부 클래스 변동성을 포착하지 못하는 조건부 가우시안 모델의 한계를 극복하기 위해.
• 사전 훈련된 CNN만 필요로 하며, 내부 분포 또는 이상 분포에 대해 특정 분포를 가정하지 않는 유연한 비모수적 OOD 탐지 프레임워크를 개발하기 위해.
• 의료 영상에서 OOD 탐지 성능에 영향을 미치는 다양한 컨volutional 레이어의 특징 표현을 평가하기 위해.

제안 방법

• 사전 훈련된 깊이 컨volution 네트워크를 사용해 피부 병변 영상의 특징을 추출하며, 이는 훈련 과정에서 학습된 의미적 표현을 활용한다.
• 추출된 특징에 대해 고립 트리(Isolation Forest, IF)를 적용하여 이상치를 탐지한다. 원리는 이상치가 트리에서 더 적은 분할 수로 고립되기 때문에, 이는 이상치 탐지에 유리하다.
• 모수적 방법과 달리, IF는 정규 분포나 가우시안 분포와 같은 특정 분포를 정규화하지 않기 때문에, 피부 병변 특징에서 나타나는 복잡하고 다중 모달인 분포에 대해 강건하다.
• 특징의 깊이에 따라 성능에 미치는 영향을 분석하기 위해 여러 컨볼루션 레이어(예: f_{-1}에서 f_{-4})의 특징에 대해 적용한다.
• 고립 트리 내 평균 경로 길이를 사용해 정상성 점수를 계산하며, 낮은 점수일수록 이상 가능성은 높다.
• 표준 평가 지표인 AUROC, AUPR, 95% TPR에서의 TNR을 사용해 여러 OOD 세트(MEL, BCC, DF, VASC, SCC 등)에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 고립 트리와 같은 비모수적 이상 탐지 방법이 내부 클래스 변동성이 높은 피부 병변의 OOD 탐지에서 클래스 조건부 가우시안 모델보다 성능이 뛰어나게 되는가?
• RQ2 사전 훈련된 CNN의 얕은 레이어에서 깊은 레이어까지의 특징 레이어 선택이 OOD 탐지 성능에 어떤 영향을 미치는가?
• RQ3 DeepIF는 Mahalanobis 거리 및 VAE 기반 기준선 대비 내부 분포와 이상 분포 간의 분리 성능을 더 뛰어나게 하는가?
• RQ4 희귀하거나 외관이 뚜렷한 피부 병변을 포함한 다양한 OOD 클래스에 대해 DeepIF의 성능 향상이 일관되게 유지되는가?
• RQ5 마지막 컨볼루션 레이어가 피부병변 영상에서 OOD 탐지에 가장 표현력 있는 특징 표현을 제공하는가?

주요 결과

• DeepIF는 가우시안 기반 Mahalanobis 거리 기준선 대비 평균 AUROC 0.7136을 기록하며 OOD 탐지 성능을 20% 향상시켰다.
• 그림 2와 3에서 볼 수 있듯이, 정상 샘플과 OOD 샘플 간의 분리 성능이 뛰어나며, 점수 분포와 ROC 곡선이 더 명확하게 분리됨을 확인할 수 있다.
• 대부분의 병변 유형에서 마지막 컨볼루션 레이어(f_{-1})의 특징을 사용할 경우 OOD 탐지 성능이 가장 우수하며, NV 유형을 제외한 대부분의 경우에서 가장 높은 성능 기록. NV 유형에서는 더 깊은 레이어에서 약간의 성능 향상 관찰.
• 얕은 레이어(f_{-2}에서 f_{-4})의 특징을 사용할 경우 DeepIF의 성능이 심각하게 저하됨을 통해, 이상 탐지에 의미적 수준의 표현이 매우 중요함을 입증.
• BCC OOD 세트에서 DeepIF는 AUROC 0.7539를 기록하며, Mahalanobis 기준선(0.5771)과 VAE(0.5315)를 크게 앞서며 뛰어난 성능을 보였다.
• SCC OOD 세트에서 DeepIF는 95% TPR에서 TNR 0.2573을 기록하여, 높은 재현율 조건에서도 특이도를 유지하는 강력한 성능을 보였다.