[논문 리뷰] Mixed Magnification Aggregation for Generalizable Region-Level Representations in Computational Pathology

Eric Zimmermann, Julian Viret외 8명|arXiv (Cornell University)|2026. 02. 25.

AI in cancer detection인용 수 0

한 줄 요약

이 논문은 MEM으로 사전 학습된 Region-level 혼합 확대 인코더를 제안하여 여러 배율에서 타일 임베딩을 융합하고, 단일 배율 baselines 대비 암종 간 바이오마커 예측 성능을 향상시킨다.

ABSTRACT

In recent years, a standard computational pathology workflow has emerged where whole slide images are cropped into tiles, these tiles are processed using a foundation model, and task-specific models are built using the resulting representations. At least 15 different foundation models have been proposed, and the vast majority are trained exclusively with tiles using the 20$ imes$ magnification. However, it is well known that certain histologic features can only be discerned with larger context windows and requires a pathologist to zoom in and out when analyzing a whole slide image. Furthermore, creating 224$ imes$224 pixel crops at 20$ imes$ leads to a large number of tiles per slide, which can be gigapixel in size. To more accurately capture multi-resolution features and investigate the possibility of reducing the number of representations per slide, we propose a region-level mixing encoder. Our approach jointly fuses image tile representations of a mixed magnification foundation model using a masked embedding modeling pretraining step. We explore a design space for pretraining the proposed mixed-magnification region aggregators and evaluate our models on transfer to biomarker prediction tasks representing various cancer types. Results demonstrate cancer dependent improvements in predictive performance, highlighting the importance of spatial context and understanding.

연구 동기 및 목표

• Fixed Magnification을 넘어 다중 스케일 조직학 특징을 포착하기 위한 영역 수준 혼합 확대 표현의 사용를 자극한다.
• 다중 배율의 임베딩을 영역 수준 표현으로 집계하는 영역 혼합 인코더를 개발한다.
• 바이오마커 예측 작업으로의 전이 향상을 위해 MEM 및 선택적 CMEM을 활용한 자기지도 사전 학습 전략을 조사한다.
• AB-MIL과 함께 다양한 집계 전략(contextualized vs compressed region embeddings)을 7개 바이오마커 작업에서 암종 유형에 걸쳐 평가한다.

제안 방법

• 다중 배율 내 공간 영역에서 여러 배율의 타일 임베딩의 정렬된 시퀀스를 소모하는 영역 혼합 인코더를 정의한다.
• MEM을 사용하여 마스크된 영역 임베딩을 재구성하고 배율에 걸친 영역 인식 가중치를 부여한 사전 학습을 수행한다.
• 선택적으로 CMEM으로 MEM을 확장하여 맥락 증강 간 불변성을 촉진한다.
• 주의 기반 MIL(AB-MIL)로 영역 임베딩을 집계하여 슬라이드 수준 예측을 생성한다.
• 다운스트림 작업을 위해 컨텍스추얼라이즈된 영역 임베딩(모든 토큰)과 압축된 영역 임베딩(CLS 토큰)을 비교한다.
• 7개의 MSK-IMPACT 바이오마커 예측 작업에서 fine-tuned 모델을 AUROC로 평가한다.

실험 결과

연구 질문

• RQ1 영역 수준의 혼합 확대 표현 학습이 단일 배율 기준선에 비해 다양한 조직 유형에서 바이오마커 예측을 향상시키는가?
• RQ2 MEM 대 CMEM 사전 학습이 영역 수준 임베딩의 다운스트림 바이오마커 작업에 미치는 영향은 무엇인가?
• RQ3 맥락화된(패치) 임베딩과 축약된(CLS) 영역 임베딩이 AB-MIL과 통합되어 WSI 수준 예측에 얼마나 잘 작동하는가?
• RQ4 사전 학습 효과에 대한 제거 비율 및 소스 맥락 크기의 영향은 무엇인가?
• RQ5 혼합 확대 표현이 시퀀스 길이를 줄이면서 성능을 유지하거나 향상시킬 수 있는가?

주요 결과

• MEM 또는 MEM+CMEM으로의 사전 학습은 기준선 및 임의 초기화 모델 대비 평균 AUROC를 향상시킨다.
• 컨텍스트화된 영역 임베딩(패치 토큰)이 일반적으로 압축된 임베딩(CLS 토큰)보다 AUROC에서 우수하다.
• MEM 기반 사전 학습은 바이오마커 및 배율 전반에 걸쳐 가장 강한 평균 이득을 제공하며, 특히 50% 제거 비율에서 MEM이 강력히 권장된다.
• CMEM은 이득이 덜 일관되며 CLS 표현에서 특히 저조할 수 있다.
• 작업 전반에 걸쳐 단일 설정이 보편적으로 최적인 것은 아니지만, MEM은 20x 및 다른 baselines 대비 일관되게 개선을 보이며 50% 마스킹이 주목할 만한 이득을 제공한다.
• 영역 기반 혼합으로 과도한 긴 시퀀스를 비활성화하면 연산 부담이 감소하면서 정확도가 유지된다.