[논문 리뷰] Diagnose Like a Pathologist: Transformer-Enabled Hierarchical Attention-Guided Multiple Instance Learning for Whole Slide Image Classification
이 논문은 병리의사가 다중 해상도, 주의 기반 진단을 수행하는 방식을 모방하여, 여러 WSI 해상도에서 분류 가능한 영역을 동적으로 식별하는 Transformer 기반의 계층적 주의 유도 다중 예비 학습(HAG-MIL) 프레임워크를 제안한다. 통합 주의 트랜스포머와 새로운 집합 모듈을 활용하여 전체 백 표현 학습을 위한 보다 통합적인 접근을 통해 Camelyon16, TCGA-RCC, TCGA-NSCLC 및 내부 데이터셋에서 최신 기술 수준의 성능을 달성한다.
Multiple Instance Learning (MIL) and transformers are increasingly popular in histopathology Whole Slide Image (WSI) classification. However, unlike human pathologists who selectively observe specific regions of histopathology tissues under different magnifications, most methods do not incorporate multiple resolutions of the WSIs, hierarchically and attentively, thereby leading to a loss of focus on the WSIs and information from other resolutions. To resolve this issue, we propose a Hierarchical Attention-Guided Multiple Instance Learning framework to fully exploit the WSIs. This framework can dynamically and attentively discover the discriminative regions across multiple resolutions of the WSIs. Within this framework, an Integrated Attention Transformer is proposed to further enhance the performance of the transformer and obtain a more holistic WSI (bag) representation. This transformer consists of multiple Integrated Attention Modules, which is the combination of a transformer layer and an aggregation module that produces a bag representation based on every instance representation in that bag. The experimental results show that our method achieved state-of-the-art performances on multiple datasets, including Camelyon16, TCGA-RCC, TCGA-NSCLC, and an in-house IMGC dataset. The code is available at https://github.com/BearCleverProud/HAG-MIL.
연구 동기 및 목표
- 기존의 전체 슬라이드 이미지(WSI) 분류 방법이 병리의사가 전략적으로 해상도를 전환하는 것과는 달리, 조직병리 슬라이드의 다중 해상도를 효과적으로 활용하지 못하는 한계를 해결하기 위해.
- 다중 해상도에서 동적이고 계층적인 주의를 가능하게 하여 분류 가능한 패치를 더 효과적으로 식별함으로써 약한 감독 기반 WSI 분류를 향상시키기 위해.
- 계층적으로 주의 메커니즘을 통합하여 인스턴스 수준의 특징을 여러 레이어에 걸쳐 집합화함으로써 트랜스포머 기반 백 표현 학습의 품질을 향상시켜 모델의 강건성과 해석 가능성을 높이기 위해.
- 다중 해상도 특징 융합를 통해 주의 지역화를 정밀하게 조정하여 소규모 전이성 종양(예: 미세 전이성 종양)의 탐지 성능을 향상시키고, 잘못된 양성 반응을 줄이기 위해.
제안 방법
- HAG-MIL 프레임워크는 40×, 10× 등 여러 해상도에서 WSI를 처리하여 병리의사의 검사 방식을 모방하는 계층적 주의를 가능하게 한다.
- 통합 주의 트랜스포머(IAT)를 제안하며, 여러 트랜스포머 레이어와 통합 주의 모듈(IAM)을 결합하여 인스턴스 표현을 종합적인 백 표현으로 집계한다.
- 각 IAM 레이어는 패치 간 주의 점수를 계산하고 개선된 백 수준 표현을 생성하며, 더 깊은 레이어를 거치면서 점진적으로 업데이트된다.
- 모든 네트워크를 통해 역전파가 가능하도록 가능한 미분 가능한 주의 메커니즘을 사용하여 슬라이드 수준 레이블만으로도 엔드 투 엔드 학습이 가능하다.
- 집합 모듈은 표준 또는 게이트드 주의를 사용하여 인스턴스 중요도를 가중하며, 추론 실험에서 게이트드 버전이 뛰어난 성능을 보였다.
- 모델은 슬라이드 수준의 레이블만을 사용하는 약한 감독 학습 방식으로 학습되며, 추론 시 최상위-k 주의 패치의 조정을 동적으로 가능하게 한다.
실험 결과
연구 질문
- RQ1딥 러닝 모델이 병리의사의 진단 행동을 모방하기 위해 전체 슬라이드 이미지의 다중 해상도를 효과적으로 활용하여 분류 정확도를 향상시킬 수 있는가?
- RQ2단일 해상도 방법과 비교할 때, 다중 해상도에서의 계층적 주의가 특히 소규모 전이성 종양의 경우 분류 가능한 패치의 국소화를 어떻게 향상시키는가?
- RQ3다중 레이어 주의 집합 메커니즘을 통합함으로써, WSI에 대한 다중 예비 학습에서 백 표현의 품질은 어느 정도 향상되는가?
- RQ4제안된 통합 주의 트랜스포머는 AUC 및 히트맵의 해석 가능성 측면에서 표준 트랜스포머 및 주의 기반 MIL 모델보다 뛰어난 성능을 보일까?
주요 결과
- HAG-MIL은 Camelyon16(0.985), TCGA-RCC(0.912), TCGA-NSCLC(0.891), 내부 IMGC 데이터셋(0.934)에서 최신 기술 수준의 AUC 점수를 기록하여 기존 방법들을 초월했다.
- 집합 모듈의 게이트드 주의 메커니즘이 Camelyon16과 TCGA-RCC에서 각각 표준 주의보다 AUC를 1.8%, 1.2% 향상시켰다.
- IAT 모델은 동일한 데이터셋에서 표준 클래스 토큰 기반 트랜스포머보다 AUC에서 각각 1.7%, 1.1% 높은 성능을 보여, 다중 레이어 집합의 효과를 입증했다.
- 시각화 결과 HAG-MIL는 특히 미세 전이성 종양과 고립된 종양 세포에서 지도 기반 주석과 더 잘 일치하고 대비가 높은 히트맵을 생성했다.
- 추론 시 최상위-k 주의 임계치를 높임으로써 성능 향상이 더욱 두드러졌으며, 특히 종양 영역이 작고 희박한 Camelyon16에서 유의미한 개선이 관찰되었다.
- CLAM-SB와 비교해 잘못된 양성 반응이 크게 감소했으며, 종양 부담이 낮은 영역에서도 분류 가능한 패치 선택 능력이 뛰어나, 우수한 특징 선택 능력을 입증했다.
더 나은 연구,지금 바로 시작하세요
논문 읽기부터 검토까지, 연구 시간을 획기적으로 줄여보세요.
카드 등록 없음 · 무료 플랜 제공
이 리뷰는 AI가 만들고, 인간 에디터가 검토했습니다.