[논문 리뷰] Semi-Supervised Histology Classification using Deep Multiple Instance Learning and Contrastive Predictive Coding

Ming Y. Lu, Richard J. Chen외 3명|arXiv (Cornell University)|2019. 10. 23.

AI in cancer detection인용 수 54

한 줄 요약

논문은 한정 표본에서 대조적 예측 코딩(CPC)과 주의 기반 MIL을 결합한 2단계 준지도 파이프라인을 제안하여 조직 슬라이드 분류를 개선하고 BACH 데이터에서 최첨단 성과를 달성한다.

ABSTRACT

Convolutional neural networks can be trained to perform histology slide classification using weak annotations with multiple instance learning (MIL). However, given the paucity of labeled histology data, direct application of MIL can easily suffer from overfitting and the network is unable to learn rich feature representations due to the weak supervisory signal. We propose to overcome such limitations with a two-stage semi-supervised approach that combines the power of data-efficient self-supervised feature learning via contrastive predictive coding (CPC) and the interpretability and flexibility of regularized attention-based MIL. We apply our two-stage CPC + MIL semi-supervised pipeline to the binary classification of breast cancer histology images. Across five random splits, we report state-of-the-art performance with a mean validation accuracy of 95% and an area under the ROC curve of 0.968. We further evaluate the quality of features learned via CPC relative to simple transfer learning and show that strong classification performance using CPC features can be efficiently leveraged under the MIL framework even with the feature encoder frozen.

연구 동기 및 목표

• 한정된 표지된 조직 데이터 하에서 심층 MIL의 과적합 및 특징 학습의 부진을 해결한다.
• 라벨이 없는 패치로부터 풍부한 인스턴스 수준 표현을 학습하기 위해 자기지도 CPC를 활용한다.
• CPC 특징을 규제된 주의 기반 MIL과 통합하여 백(가방) 수준 분류를 효과적으로 수행한다.
• 인코더를 고정시키고 성능을 유지하며 메모리 효율적인 학습을 입증한다.

제안 방법

• 각 이미지를 주의 기반 MIL 프레임워크에서 패치의 가방으로 취급한다.
• 라벨 없는 패치에서 자기지도 CPC로 특징 인코더를 사전 학습하여 조직학 특화 표현을 학습한다.
• 음수 인스턴스에 대한 과적합을 방지하기 위해 KL-divergence 정규화를 포함한 마진 기반 손실을 사용한다.
• Encoder를 고정하거나 미세조정하는 방식으로 ImageNet 사전 학습 특성 또는 CPC 특성의 전이도 가능하다.
• 주의 MIL 네트워크 이전에 작고 선형의 층을 추가하고 인코더를 고정시켜 메모리 효율 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 제한된 라벨에서 CPC 기반 사전 학습이 MIL 기반 조직학 분류를 개선할 수 있는가?
• RQ2 CPC + MIL이 BACH 데이터셋에서 표준 MIL 및 전이 학습과 어떻게 비교되는가?
• RQ3 인코더를 고정하는 것이 성능과 학습 효율성에 미치는 영향은 무엇인가?
• RQ4 KL-div 정규화와 매끄러운 마진 손실이 음성 가방의 과도한 주의 집중을 완화하는가?
• RQ5 CPC + MIL에서 강한 AUC 성능을 달성하기 위해 필요한 라벨 수는 어느 정도인가?

주요 결과

• MIL + CPC with smooth SVM loss and KL-div regularization achieves 95.0% accuracy and 0.968 AUC across five random splits.
• MIL + CPC with ImageNet pretraining yields 91.8% accuracy and 0.959 AUC, while ImageNet alone underperforms.
• Frozen CPC features with MIL reach 90.6% accuracy and 0.939 AUC, enabling memory-efficient training.
• CPC features enable strong classification performance even when encoder is frozen, reducing trainable parameters to under 800k.
• Training with CPC + MIL shows good performance with as few as 16 labels per class and mean AUC > 0.82 (Fig 3).
• Attention maps focus on regions of high nuclei density and informative regions, with some missed necrotic or migrating cell regions.