[논문 리뷰] BROW: Better featuRes fOr Whole slide image based on self-distillation

Yuanfeng Wu, Shaojie Li외 2명|arXiv (Cornell University)|2023. 09. 15.

AI in cancer detection인용 수 5

한 줄 요약

BROW는 다양한 조직 및 염색 방법에서 11,000여 장의 슬라이드에서 유래한 1.8억 개의 패치를 포함한 대규모 데이터셋을 활용하여 전장 슬라이드 이미지(WSI) 특징 추출을 위한 자기-디스틸리케이션 기반의 비전 트랜스포머 기초 모델이다. 다양한 후행 작업—슬라이드 수준의 분류, 패치 수준의 분류, 세포핵 세분화—에서 최신 기술 수준의 성능을 달성하며, 최소한의 피니테이닝으로도 뛰어난 강건성과 일반화 능력을 보여주었다.

ABSTRACT

Whole slide image (WSI) processing is becoming part of the key components of standard clinical diagnosis for various diseases. However, the direct application of conventional image processing algorithms to WSI faces certain obstacles because of WSIs' distinct property: the super-high resolution. The performance of most WSI-related tasks relies on the efficacy of the backbone which extracts WSI patch feature representations. Hence, we proposed BROW, a foundation model for extracting better feature representations for WSIs, which can be conveniently adapted to downstream tasks without or with slight fine-tuning. The model takes transformer architecture, pretrained using self-distillation framework. To improve model's robustness, techniques such as patch shuffling have been employed. Additionally, the model leverages the unique properties of WSIs, utilizing WSI's multi-scale pyramid to incorporate an additional global view, thereby further enhancing its performance. We used both private and public data to make up a large pretraining dataset, containing more than 11000 slides, over 180M extracted patches, encompassing WSIs related to various organs and tissues. To assess the effectiveness of \ourmodel, we run a wide range of downstream tasks, including slide-level subtyping, patch-level classification and nuclei instance segmentation. The results confirmed the efficacy, robustness and good generalization ability of the proposed model. This substantiates its potential as foundation model for WSI feature extraction and highlights promising prospects for its application in WSI processing.

연구 동기 및 목표

• 고해상도 WSI 처리의 과제를 해결하기 위해 강건하고 확장 가능한 특징 추출 백본을 개발한다.
• 작업별 특화 모델과 자연 이미지 사전 훈련의 한계를 극복하기 위해 WSI 전용 기초 모델을 구축한다.
• 자기-디스틸리케이션 및 데이터 증강 기법을 통해 모델의 일반화 능력과 강건성을 향상시킨다.
• WSI의 계층적 다중 척도 구조를 활용하여 글로벌 컨텍스트 이해를 향상시킨다.
• 파rameter 효율적인 피니테이닝 또는 직접 특징 추출을 통해 다양한 후행 작업에 효율적으로 적응할 수 있도록 한다.

제안 방법

• 계층적 WSI 표현을 학습하기 위해 비전 트랜스포머 아키텍처를 백본으로 활용한다.
• 특징 품질과 강건성을 향상시키기 위해 자기-디스틸리케이션 프레임워크를 사용해 모델을 사전 훈련한다.
• WSI의 다중 척도 피ラ미드 특징을 추가적인 글로벌 뷰로 통합하여 맥락 이해를 강화한다.
• 훈련 중 패치 셔플링과 색상 증강 뷰를 적용하여 데이터 변동에 대한 강건성을 향상시킨다.
• 다양한 기관과 염색 기법을 포함한 공개 및 비공개 데이터를 융합한 1.8억 개의 패치를 포함한 대규모 데이터셋을 활용한다.
• 소수의 샘플 학습 또는 파rameter 효율적인 피니테이닝(예: LoRA)을 통해 후행 작업 적응을 가능하게 하여 계산 비용을 최소화한다.

실험 결과

연구 질문

• RQ1 자기 지도 학습 및 대규모 기초 모델이 작업별 특화 모델이나 자연 이미지 사전 훈련에 비해 전장 슬라이드 이미지의 특징 표현을 향상시킬 수 있는가?
• RQ2 WSI에서 유도한 다중 척도 피라미드 특징을 통합할 경우 모델 성능과 일반화 능력이 어떻게 향상되는가?
• RQ3 자기-디스틸리케이션 기법이 WSI 표현 학습에서 강건성과 특징 품질을 얼마나 향상시키는가?
• RQ4 제안된 모델가 최소한의 피니테이닝으로 다양한 후행 작업에 효과적으로 일반화될 수 있는가?
• RQ5 데이터셋의 규모와 다양성(예: 염색 방법, 조직 유형)이 모델의 성능과 일반화 능력에 어떤 영향을 미치는가?

주요 결과

• BROW는 다양한 데이터셋에서 슬라이드 수준의 분류 작업에서 경쟁적인 성능을 기록하며, 다양한 조직 유형과 염색 프로토콜 간 강력한 일반화 능력을 입증했다.
• 자기-디스틸리케이션에 기반한 강력한 특징 학습 덕분에, 특히 데이터가 적은 환경에서 패치 수준의 분류 작업에서 베이스라인 방법을 초월했다.
• 세포핵 인스턴스 세분화 작업에서 최신 기술 수준의 결과를 달성하여 미세한 형태학적 세부 정보를 효과적으로 포착할 수 있음을 보여주었다.
• 다중 척도 피라미드 특징의 사용은 맥락 이해가 필요한 작업에서 모델 성능을 크게 향상시켰다.
• 자기-디스틸리케이션 및 데이터 증강 기법이 모델의 강건성을 향상시켜 염색 변동성과 영상 잡음에 대한 민감도를 감소시켰다.
• 모델는 뛀난 전이 능력을 보이며, 최소한의 피니테이닝 또는 직접 특징 추출만으로도 효과적인 후행 작업 적응이 가능했다.