[논문 리뷰] From Modern CNNs to Vision Transformers: Assessing the Performance, Robustness, and Classification Strategies of Deep Learning Models in Histopathology

Maximilian Springenberg, Annika Frommholz외 4명|arXiv (Cornell University)|2022. 04. 11.

AI in cancer detection인용 수 6

한 줄 요약

이 논문은 최신 딥러닝 모델—모던 CNN인 ConvNeXt와 Inception부터 비전 트랜스포머(ViT 및 Swin Transformer)까지—을 조직병리학 분야에서 평가하여 성능, 염색 변화에 대한 내성, 그리고 해석 가능성(해석 가능성)을 분석한다. 본 연구는 CycleGAN을 활용한 염색 내성 평가를 위한 새로운 방법론을 제안하고, 레이어별 관련성 전파(LRP)를 확장하여 세포핵에 대한 주의 집중 정도를 정량화한다. 분석 결과, 모든 모델이 핵을 우선적으로 고려하지만, 전략적 차이가 존재하며, 아키텍처에 관계없이 내성 문제는 여전히 핵심적인 한계로 남아 있음을 밝혔다.

ABSTRACT

While machine learning is currently transforming the field of histopathology, the domain lacks a comprehensive evaluation of state-of-the-art models based on essential but complementary quality requirements beyond a mere classification accuracy. In order to fill this gap, we developed a new methodology to extensively evaluate a wide range of classification models, including recent vision transformers, and convolutional neural networks such as: ConvNeXt, ResNet (BiT), Inception, ViT and Swin transformer, with and without supervised or self-supervised pretraining. We thoroughly tested the models on five widely used histopathology datasets containing whole slide images of breast, gastric, and colorectal cancer and developed a novel approach using an image-to-image translation model to assess the robustness of a cancer classification model against stain variations. Further, we extended existing interpretability methods to previously unstudied models and systematically reveal insights of the models' classifications strategies that can be transferred to future model architectures.

연구 동기 및 목표

• 정확도를 넘어서 내성과 해석 가능성까지 포함한 현대 딥러닝 모델의 조직병리학 분야 종합 평가.
• 특히 비전 트랜스포머의 다양한 조직병리학 데이터셋(다양한 종류의 암 포함)에서의 성능 평가.
• 이미지 간 번역(Image-to-Image Translation, CycleGAN)을 활용한 염색 변화에 대한 모델 내성 평가를 위한 새로운 정량적 방법 개발 및 적용.
• 기존에 다루지 않은 모델에 대해 해석 가능성 기법(LRP)을 확장하고, 생물학적으로 중요한 영역(예: 세포핵)에 대한 주의 집중 정도를 정량화.
• 임상적 도입을 위한 실용적인 모델 추천과 이식 가능한 평가 프레임워크 제공.

제안 방법

• 5개의 공개 조직병리학 데이터셋에서, ResNet (BiT), Inception, ConvNeXt, ViT, Swin Transformer를 포함한 총 12개 모델을 평가하였으며, 감독/자기지도 학습 전처리 여부에 따라 비교 분석.
• 이미지 간 번역 모델인 CycleGAN 기반 모델을 활용해 염색 변형 이미지를 생성하고, 분포 이탈 상황에서의 모델 내성 평가.
• 레이어별 관련성 전파(LRP)를 적용하여 할당도 열매맵을 생성하고, 이와 세분화된 마스크를 연관시켜 핵과 배경에 대한 관련성 정량화.
• 핵 세분화 결과와 관련성 맵 간 겹침 정도를 측정하여 할당도 맵의 타당성 평가를 위한 정량적 지표 제안.
• 일관된 평가를 위해 전체 슬라이드 이미지에서 겹치지 않는 100×100 패치를 슬라이딩 윈도우 방식으로 생성.
• 다양한 실행(예: ViT-L:1에서 ViT-L:16까지)을 통한 제거 실험을 수행하여 주의 헤드의 전문화 및 일관성 분석.

실험 결과

연구 질문

• RQ1 다양한 조직병리학 데이터셋에서 어떤 딥러닝 아키텍처가 가장 높은 분류 성능를 달성하는가?
• RQ2 현대적인 CNN과 비전 트랜스포머는 전체 슬라이드 이미지에서 염색 변화에 얼마나 내성적인가?
• RQ3 다른 모델들이 생물학적으로 중요한 구조물(예: 세포핵)에 주의를 얼마나 집중하는가?
• RQ4 LRP와 같은 해석 가능성 기법은 비전 트랜스포머에 효과적으로 확장될 수 있으며, 이를 통해 모델의 의사결정 전략을 정량적으로 비교할 수 있는가?
• RQ5 감독 학습 또는 자기지도 학습 전처리가 조직병리학에서 모델의 성능, 내성, 해석 가능성에 어떤 영향을 미치는가?

주요 결과

• Inception V3(특히 사전학습된 경우)와 최적화된 ConvNeXt-L이 5개의 조직병리학 데이터셋에서 가장 높은 예측 성능를 기록.
• 모든 모델(비전 트랜스포머 및 Swin Transformer 포함)이 주의 및 할당도 맵에서 세포핵을 강하게 집중적으로 고려함—병리의사가 주목하는 특징과 일치함.
• 높은 정확도에도 불구하고, 염색 변화에 대한 내성이 부족하여, CycleGAN로 생성된 염색 변형 이미지에서 성능이 크게 저하됨.
• 제안된 LRP 기반 정량화 방법은 ViT의 주의 헤드가 여러 개의 핵과 조직 영역에 걸쳐 관련성을 분산시키며, 일부 헤드는 특정 유형의 핵에 특화되어 있음을 드러냄.
• 주의 헤드 수가 3개뿐인 ViT-Tiny 모델은 더 넓고 집중도가 낮은 주의 패턴을 보였고, ViT-Base 및 ViT-Large는 더 정교하고 핵 중심의 주의 패턴을 나타냄.
• 모든 아키텍처에서 내성이 일관되게 낮게 나타나, 염색 변화는 디지털 병리학에서 딥러닝의 실용적 도입을 위한 주요 장벽으로 남아 있음.