[논문 리뷰] Deep Instance-Level Hard Negative Mining Model for Histopathology Images

Meng Li, Lin Wu외 4명|arXiv (Cornell University)|2019. 06. 24.

AI in cancer detection참고 문헌 22인용 수 4

한 줄 요약

이 논문은 병변 유형 분류 성능 향상을 위해 적응형 주의 메커니즘과 인스턴스 수준 가중치를 통합한 딥 인스턴스 수준의 하드 음성 마이닝 모델을 제안한다. 하드 음성 패치를 식별하고 재학습함으로써, 대장 및 유방암 데이터셋에서 기존 최고 성능를 넘어서면서도 가짜 양성 결과 비율을 감소시킨다.

ABSTRACT

Histopathology image analysis can be considered as a Multiple instance learning (MIL) problem, where the whole slide histopathology image (WSI) is regarded as a bag of instances (i.e, patches) and the task is to predict a single class label to the WSI. However, in many real-life applications such as computational pathology, discovering the key instances that trigger the bag label is of great interest because it provides reasons for the decision made by the system. In this paper, we propose a deep convolutional neural network (CNN) model that addresses the primary task of a bag classification on a WSI and also learns to identify the response of each instance to provide interpretable results to the final prediction. We incorporate the attention mechanism into the proposed model to operate the transformation of instances and learn attention weights to allow us to find key patches. To perform a balanced training, we introduce adaptive weighing in each training bag to explicitly adjust the weight distribution in order to concentrate more on the contribution of hard samples. Based on the learned attention weights, we further develop a solution to boost the classification performance by generating the bags with hard negative instances. We conduct extensive experiments on colon and breast cancer histopathology data and show that our framework achieves state-of-the-art performance.

연구 동기 및 목표

• 해석 가능한 계산 기반 병리학을 위해 전체 슬라이드 영상(WSIs)에서 핵심 진단 패치를 식별하는 데 도전 과제를 해결한다.
• 다중 인스턴스 학습(MIL)에서의 학습 불균형 문제를 완화하기 위해 잘못 분류되는 하드 음성 인스턴스에 집중함으로써 분류 성능을 향상시킨다.
• 하드 음성 패치에서 유도된 합성 학습 백을 통해 모델의 강건성과 정확도를 향상시킨다.
• 주의 가중치를 통합한 엔드 투 엔드 학습을 통해 WSI에서 주요 결정 요소가 되는 패치를 강조한다.

제안 방법

• 딥 CNN에 주의 메커니즘을 통합하여, 백 수준 예측에 기여하는 핵심 패치를 식별하는 인스턴스 수준의 주의 가중치를 학습한다.
• 역전파 과정에서 하드 음성 인스턴스에 더 높은 중요도를 할당하는 적응형 손실 가중치를 적용하여 학습을 균형 잡힌 상태로 유지한다.
• 주의 점수를 통해 식별된 가장 도전적인 음성 패치를 사용하여 새로운 학습 백을 구성하는 백 생성 알고리즘을 개발한다.
• 이중 단계 학습 프로세스를 적용한다: 첫 번째 단계에서는 적응형 주의 메커니즘을 사용해 모델을 학습하고, 두 번째 단계에서는 하드 음성 백을 생성하고 재학습하여 성능을 향상시킨다.
• 인스턴스 수준의 주의 메커니즘을 활용하여, 분류 이전에 패치 임베딩에 대해 학습 가능한 주의 메커니즘을 적용해 주의 가중치를 계산한다.
• 10중 교차검증 및 4중 교차검증을 각각 5회 반복하여, 다양한 데이터 분할에 걸쳐 강력한 평가를 확보한다.

실험 결과

연구 질문

• RQ1 어떻게 주의 메커니즘이 조직병리학 WSI에서 핵심 진단 패치를 효과적으로 식별하는 데 활용될 수 있는가?
• RQ2 하드 음성 샘플에 집중함으로써 적응형 인스턴스 수준의 가중치가 모델 일반화 능력을 향상시킬 수 있는가?
• RQ3 하드 음성 인스턴스에서 유도된 합성 학습 백 생성이 분류 정확도 향상과 가짜 양성 비율 감소에 기여하는가?
• RQ4 실제 조직병리학 데이터셋에서 제안된 방법이 AUC, FPR, F-score 측면에서 최고 성능 기반의 MIL 접근법과 어떻게 비교되는가?

주요 결과

• 제안된 방법은 대장암 데이터셋에서 테스트 정확도 94.8%를 달성하여 베이스라인 MIL 모델(90.4%)을 초월하고 새로운 최고 성능 기록을 수립하였다.
• UCSB 데이터셋에서 FMB(특징 클러스터링 샘플링) 전략을 사용한 결과 AUC가 0.999에 도달하였으며, Song 등 [17]의 최고 성능를 유지하면서도 가짜 양성 비율을 0.040 ± 0.019로 크게 감소시켰다.
• FMB 기반 하드 음성 백 생성 전략은 대장암 데이터에서 가짜 양성 비율을 0.036 ± 0.007로 감소시켜, 베이스라인(0.104 ± 0.012) 대비 뚜렷한 향상을 이룩하였다.
• FMB 기반 모델은 대장암 데이터에서 재현율(recall) 0.920과 F-score 0.945를 기록하여 정밀도를 유지하면서도 양성 사례를 효과적으로 탐지하는 데 강력한 성능를 보였다.
• 주의 메커니즘이 악성 병변과 하드 음성 패치를 효과적으로 강조함을 그림 3에서 확인할 수 있었으며, 이는 모델의 해석 가능성과 임상적 관련성을 입증하였다.
• FMB를 통한 하드 음성 마이닝의 통합은 대장암 데이터셋에서 기반 모델 대비 F-score를 4.4%포인트 향상시켰다.