[논문 리뷰] Natural vs Balanced Distribution in Deep Learning on Whole Slide Images for Cancer Detection

Ismat Ara Reshma, Sylvain Cussat‐Blanc외 3명|arXiv (Cornell University)|2020. 12. 21.

AI in cancer detection참고 문헌 38인용 수 4

한 줄 요약

이 연구는 전체 슬라이드 이미지(WSI) 암 검출에서 딥러닝을 사용할 때 자연적(불균형) 및 인위적으로 균형 잡힌 클래스 분포를 비교한다. 10겹 교차검증을 통해 자연적 분포(비영역영역(Non-ROI) 픽셀 유지)로 학습할 경우, 정밀도를 유지하면서도 가짜 양성 결과를 줄이며, 모든 평가 지표에서 균형 잡힌 분포보다 뛰어난 성능을 보임을 입증한다.

ABSTRACT

The class distribution of data is one of the factors that regulates the performance of machine learning models. However, investigations on the impact of different distributions available in the literature are very few, sometimes absent for domain-specific tasks. In this paper, we analyze the impact of natural and balanced distributions of the training set in deep learning (DL) models applied on histological images, also known as whole slide images (WSIs). WSIs are considered as the gold standard for cancer diagnosis. In recent years, researchers have turned their attention to DL models to automate and accelerate the diagnosis process. In the training of such DL models, filtering out the non-regions-of-interest from the WSIs and adopting an artificial distribution (usually, a balanced distribution) is a common trend. In our analysis, we show that keeping the WSIs data in their usual distribution (which we call natural distribution) for DL training produces fewer false positives (FPs) with comparable false negatives (FNs) than the artificially-obtained balanced distribution. We conduct an empirical comparative study with 10 random folds for each distribution, comparing the resulting average performance levels in terms of five different evaluation metrics. Experimental results show the effectiveness of the natural distribution over the balanced one across all the evaluation metrics.

연구 동기 및 목표

• 전체 슬라이드 이미지(WSI) 암 검출에서 자연적 대비 인위적으로 균형 잡힌 클래스 분포가 딥러닝 성능에 미치는 영향을 조사하기 위해.
• 일반적으로 제거되는 비영역영역(Non-ROI) 픽셀을 유지할 경우 모델의 일반화 능력 향상과 가짜 양성 결과 감소에 기여하는지 평가하기 위해.
• WSI 기반 딥러닝에서 자주 쓰이는 데이터 균형 조정 방식을 경험적으로 비교함으로써 이와 같은 관행이 최적인지 도전하기 위해.
• 비-ROI 데이터는 일반적으로 기각되지만, 조직학적 구조 간의 유사성을 포착함으로써 모델의 강건성을 향상시킬 수 있음을 입증하기 위해.
• 가짜 양성 결과를 줄여 병리의사의 작업 부담을 경감시키기 위해 향후 WSI 학습 프로토콜에서 자연적 데이터 분포 사용을 권장하기 위해.

제안 방법

• 메타스태틱 림프절 데이터셋에서 전체 슬라이드 이미지(WSI)를 수집하고 전처리하였으며, 암(C), 비암(¬C), 비-ROI(O) 영역에 대한 진단 기준 마스크를 제공하였다.
• 동일한 아키텍처를 사용한 두 개의 동일한 딥러닝 모델(E.a 및 E.b)을 학습시켰으며, 학습 데이터 분포만 다를 뿐이다: E.a는 자연적 분포(불균형)를, E.b는 인위적으로 균형 잡힌 분포를 사용하였다.
• 정확한 비교를 위해 표준 데이터 증강 및 전이 학습 기법(예: ImageNet 사전학습)을 적용하였다.
• 성능 평가의 정밀도를 높이고 분산을 줄이기 위해 10겹 교차검증을 실시하였다.
• 정확도, F1 점수, 정밀도, 재현율, AUC 등 다섯 가지 평가 지표를 사용하여 모델 성능을 평가하였으며, 특히 정밀도-재현율 트레이드오프에 중점을 두었다.
• 가짜 양성 결과의 원인을 규명하기 위해 예측 결과와 진단 기준 마스크의 시각적 점검을 통해 실패 사례를 분석하였다. 특히 조직학적 구조 유사성과 관련된 원인을 중심으로 분석하였다.

실험 결과

연구 질문

• RQ1 WSI 학습에서 자연적 불균형 클래스 분포를 사용할 경우, 인위적으로 균형 잡힌 클래스 분포보다 암 검출 성능이 향상되는가?
• RQ2 비영역영역(Non-ROI) 픽셀이 WSI 분석을 위한 딥러닝 모델에서 가짜 양성 결과 감소에 어느 정도 기여하는가?
• RQ3 ROI 영역과 비-ROI 영역 간의 조직학적 구조 유사성(예: 혈관, 섬유화)을 비-ROI 영역의 대표적 예시를 학습에 포함시킴으로써 완화할 수 있는가?
• RQ4 WSI 기반 딥러닝에서 자주 쓰이는 데이터 균형 조정 방식이 가짜 양성 결과를 최소화하면서 감도를 유지하는 데 최적인가?
• RQ5 실제 WSI 환경에서 자연적 분포로 학습한 모델과 균형 잡힌 분포로 학습한 모델 간의 성능을 여러 평가 지표에 대해 비교하면 어떻게 되는가?

주요 결과

• 자연적 분포로 학습한 모델(E.a)은 균형 잡힌 분포로 학습한 모델(E.b)보다 유의미하게 더 적은 가짜 양성 결과를 기록하였으며, 재현율 수준은 유사하게 유지하였다.
• 100% 재현율에서 E.a의 정밀도는 랜덤 추측 기준선을 크게 초월하였고, E.b의 정밀도는 랜덤 수준을 약간 넘어서는 수준이었으며, 이는 일반화 능력이 열악함을 시사한다.
• 모든 폴드에서 E.a의 성능 지표 표준편차가 일관되게 낮아 자연적 분포에서 학습한 결과가 더 안정적이고 신뢰할 수 있음을 나타낸다.
• 시각적 분석 결과, E.b에서 발생한 가짜 양성 결과의 주요 원인은 클래스 간 유사성으로, 혈관, 섬유화, 림프구 등이 ROI 및 비-ROI 클래스 모두에 존재하는 조직학적 구조 유사성 때문이었으며, 이는 학습 중 이러한 비-ROI 패턴의 표현이 부족했기 때문이다.
• 비-ROI 픽셀을 학습에 포함시킴으로써 모델은 미세한 조직학적 구조를 더 잘 구분할 수 있게 되었으며, 이는 양성처럼 보이는 양성 영역을 잘못 분류하는 것을 줄였다.
• 이 연구는 데이터 준비 단계에서 비-ROI 영역을 제거하는 것이 오히려 역효과를 낳을 수 있으며, 이러한 예시들이 모델의 강건성을 향상시키고 임상 적용 시 가짜 양성 결과를 줄이는 데 기여함을 결론 내린다.