[논문 리뷰] Self-distillation Augmented Masked Autoencoders for Histopathological Image Classification

Yang Luo, Zhineng Chen외 2명|arXiv (Cornell University)|2022. 03. 31.

AI in cancer detection인용 수 11

한 줄 요약

이 논문은 히스토파스ولوج리컬 이미지 분류를 위한 자기-분산 증강 마스킹 오토인코더인 SD-MAE를 제안한다. 이 방법은 가시 패치의 디코더 특징에서 인코더의 얕은 층으로 지식을 전달함으로써 특징 표현을 향상시킨다. 기존의 MAE와 대비 학습보다 성능이 향상되어 다양한 벤치마크에서 최고 성능을 기록하며, 특히 낮은 다양성과 교차 도메인 환경에서 더 높은 정확도와 안정성을 확보한다.

ABSTRACT

Self-supervised learning (SSL) has drawn increasing attention in histopathological image analysis in recent years. Compared to contrastive learning which is troubled with the false negative problem, i.e., semantically similar images are selected as negative samples, masked autoencoders (MAE) building SSL from a generative paradigm is probably a more appropriate pre-training. In this paper, we introduce MAE and verify the effect of visible patches for histopathological image understanding. Moreover, a novel SD-MAE model is proposed to enable a self-distillation augmented MAE. Besides the reconstruction loss on masked image patches, SD-MAE further imposes the self-distillation loss on visible patches to enhance the representational capacity of the encoder located shallow layer. We apply SD-MAE to histopathological image classification, cell segmentation and object detection. Experiments demonstrate that SD-MAE shows highly competitive performance when compared with other SSL methods in these tasks.

연구 동기 및 목표

• 히스토파스ولوج리컬 이미지에서 클래스 다양성이 제한되고 의미적으로 유사한 경우 대비 학습의 높은 가짜 음성 위험을 해결하기 위해.
• 일반적으로 사전 훈련 중 忽시되는 가시 패치를 활용하여 마스킹 오토인코더(MAE)의 성능을 향상시키기 위해.
• 가시 패치의 디코더 특징에서 유도된 자기-분산을 통해 인코더의 얕은 층의 표현 능력을 향상시키기 위해.
• 분류, 세분화, 객체 탐지와 같은 다양한 하류 작업에서 SD-MAE의 효과성을 검증하기 위해.
• 낮은 다양성과 교차 도메인 설정에서 MAE 및 기타 SSL 방법에 비해 SD-MAE가 더 뛰어난 성능과 강건성을 보임을 입증하기 위해.

제안 방법

• SD-MAE는 가시 패치의 디코더 특징에서 얕은 인코더 레이어의 해당 특징으로 지식을 전달하는 자기-분산 손실을 도입한다.
• 이 방법은 디코더의 출력 특징을 '선생'으로, 가시 패치의 인코더 출력 특징을 '학생'으로 삼아 지식 분산을 수행한다.
• 분리된 훈련 전략을 통해 자기-분산 손실에 가시 패치의 소량(0.2%)만 적용하여 안정성과 성능을 향상시킨다.
• 자기-분산 손실은 픽셀 수준의 재구성 대신 특징 표현에 적용되어 더 깊은 특징 학습을 가능하게 한다.
• 모델은 백본으로 비전 트랜스포머(ViT)를 사용하며, 마스크-예측 프리텍스트 작업을 통해 레이블이 없는 전체 슬라이드 이미지(WSIs)에서 사전 훈련한다.
• 분류, 세분화, 객체 탐지와 같은 하류 작업에서의 테스트를 위해 미세조정을 통한 전이 학습을 평가한다.

실험 결과

연구 질문

• RQ1 마스킹 오토인코더에서 가시 패치에 대한 자기-분산이 히스토파스ولوج리컬 이미지의 인코더 표현 능력을 향상시키는가?
• RQ2 낮은 클래스 수와 낮은 다양성 데이터셋에서 SD-MAE가 대비 학습과 표준 MAE에 비해 정확도와 안정성 측면에서 어떻게 성능을 내는가?
• RQ3 SD-MAE는 색소세포암에서 유방암 WSIs로의 도메인 간 전이에 효과적으로 일반화되는가?
• RQ4 픽셀 수준의 재구성 대비 특징 수준의 자기-분산이 더 나은 주의 맵과 특징 구분 능력을 제공하는가?
• RQ5 가시 패치 지식 분산이 세분화 및 객체 탐지 작업의 하류 성능에 기여하는 정도는 어떠한가?

주요 결과

• MAE 대비 PCam에서 1.6% 향상된 정확도와 표준편차 감소(±0.8 vs. ±1.0)로 안정성 향상을 보였다.
• 교차 도메인 전이에서 MAE 대비 4–5.7% 높은 성능을 기록했으며, 특히 높은 다양성에서 낮은 다양성으로의 전이에서 뛰어난 성능을 보였다.
• MoNuSeg와 Glas에서 세분화 작업에서 각각 92.3%와 90.6%의 aAcc를 기록해 MAE(92.2%와 90.4% aAcc)를 능가했다.
• NuCLS에서 객체 탐지 작업에서 PCam으로 사전 훈련한 경우 19.7 mAP, NCT로 사전 훈련한 경우 20.5 mAP를 기록해 MAE보다 각각 0.7점과 1.6점 높은 성능을 보였다.
• 시각화 결과, 특히 낮은 다양성 설정에서 더 집중적이고 다양한 주의 맵을 학습함을 확인했으며, 이는 넓은 주의 분포와 핵심 특징에 대한 높은 활성도 때문이었다.
• 절단 실험 결과, 픽셀 수준의 MSE 손실을 가시 패치에 자기-분산 손실로 대체할 경우 특징 기반 MSE 대비 0.3% 정확도 향상, 표준 MAE 대비 0.5% 향상된 것으로 확인되었다.