[논문 리뷰] HoloHisto: End-to-end Gigapixel WSI Segmentation with 4K Resolution Sequential Tokenization

Yucheng Tang, Yufan He외 12명|arXiv (Cornell University)|2024. 07. 03.

CCD and CMOS Imaging Sensors인용 수 4

한 줄 요약

HoloHisto는 패치화하지 않고 전체 웨이브 슬라이드 이미지(WSI)를 직접 입력/출력할 수 있도록 4K 해상도의 순차적 토큰화를 사용하는 엔드 투 엔드 프레임워크를 제안한다. 이는 패치 기반 접근 방식의 한계를 극복하고, 4K 패치 샘플러와 ReLU 기반 선형 어텐션을 갖춘 이중 단계 ViT 아키텍처를 통해 기존 모델 대비 최대 8.8% 향상된 딱도 점수를 달성하며, 새로운 WSI 수준의 신장 병리학 기준 데이터셋에서 최신 기술 수준(SOTA) 성능을 확보한다.

ABSTRACT

In digital pathology, the traditional method for deep learning-based image segmentation typically involves a two-stage process: initially segmenting high-resolution whole slide images (WSI) into smaller patches (e.g., 256x256, 512x512, 1024x1024) and subsequently reconstructing them to their original scale. This method often struggles to capture the complex details and vast scope of WSIs. In this paper, we propose the holistic histopathology (HoloHisto) segmentation method to achieve end-to-end segmentation on gigapixel WSIs, whose maximum resolution is above 80,000$ imes$70,000 pixels. HoloHisto fundamentally shifts the paradigm of WSI segmentation to an end-to-end learning fashion with 1) a large (4K) resolution base patch for elevated visual information inclusion and efficient processing, and 2) a novel sequential tokenization mechanism to properly model the contextual relationships and efficiently model the rich information from the 4K input. To our best knowledge, HoloHisto presents the first holistic approach for gigapixel resolution WSI segmentation, supporting direct I/O of complete WSI and their corresponding gigapixel masks. Under the HoloHisto platform, we unveil a random 4K sampler that transcends ultra-high resolution, delivering 31 and 10 times more pixels than standard 2D and 3D patches, respectively, for advancing computational capabilities. To facilitate efficient 4K resolution dense prediction, we leverage sequential tokenization, utilizing a pre-trained image tokenizer to group image features into a discrete token grid. To assess the performance, our team curated a new kidney pathology image segmentation (KPIs) dataset with WSI-level glomeruli segmentation from whole mouse kidneys. From the results, HoloHisto-4K delivers remarkable performance gains over previous state-of-the-art models.

연구 동기 및 목표

• 패치 기반 WSI 분할 방식이 맥락을 제한하고 미세한 조직 관계를 포착하지 못하는 한계를 해결하기 위해.
• 사전 정의된 타일링 또는 자르기 전략 없이 전체 기가픽셀 WSI에서 엔드 투 엔드 학습 및 추론을 가능하게 하기 위해.
• 풍부한 맥락적 및 국소적 세부 정보를 갖춘 초고해상도(4K) 이미지를 모델링할 수 있는 확장성 있고 효율적인 아키텍처 개발을 위해.
• 히스토파스ولوج리 모델을 평가하기 위한 새로운 골드 스탠다드 WSI 수준 분할 데이터셋(KPIS)을 만들기 위해.
• 밀도 높은 예측 작업, 예를 들어 기질체 탐지와 같은 병리 영상에서 4K 해상도의 순차적 토큰화와 ReLU 기반 어텐션의 우수성을 입증하기 위해.

제안 방법

• 표준 512×512 패치보다 31배 더 많은 픽셀을 캡처할 수 있는 4K 해상도 패치 샘플러를 사용하여 더 풍부한 시각적 맥락을 확보한다.
• 사전 학습된 이미지 토크나이저를 사용해 4K 이미지 특징을 이산 토큰 격자로 변환함으로써 차원을 감소시키면서도 인지적 구조를 유지한다.
• 표준 소프트맥스 어텐션을 대체하기 위해 다중 스케일 어텐션과 ReLU 기반 선형 어텐션을 갖춘 이중 단계 비전 트랜스포머(ViT) 아키텍처를 사용하여 계산 비용을 감소시킨다.
• cuCIM과 MONAI를 통합하여 다양한 확대 수준에서 실시간 동적 WSI 로딩 및 온라인 데이터 증강을 가능하게 한다.
• 모델은 전체 WSI에서 엔드 투 엔드로 학습 및 추론되며, 재구성 없이 직접 기가픽셀 분할 마스크를 생성한다.
• WSI의 어떤 영역에서도 관심 영역을 샘플링할 수 있는 새로운 무작위 4K 샘플러를 통해 효율적인 데이터 로딩 및 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 패치 기반 방법에 비해 전체적인, 엔드 투 엔드 접근 방식이 기가픽셀 WSI에서 더 뛰어난 분할 성능을 달성할 수 있는가?
• RQ2 4K 해상도의 순차적 토큰화가 표준 256×256 또는 512×512 패치에 비해 맥락 모델링과 특징 표현을 크게 향상시키는가?
• RQ3 ReLU 기반 선형 어텐션 메커니즘이 계산 비용을 줄이며 초고해상도 이미지 모델링에서 표준 소프트맥스 어텐션을 효과적으로 대체할 수 있는가?
• RQ4 4K 패치 전략을 사용해 직접 WSI 입력/출력을 구현할 경우, 기질체 탐지와 같은 밀도 높은 소형 객체 작업에서 분할 정확도가 얼마나 향상되는가?
• RQ5 새로운 WSI 수준의 기준 데이터셋(KPIS)이 차세대 히스토파스ولوج리 분할 모델의 개발 및 평가를 지원할 수 있는가?

주요 결과

• HoloHisto-4K는 4K 패치에서 딱도 점수 88.85를 기록하며, 다음으로 우수한 성능을 보인 모델(SAM ViT-H multi-scale)보다 0.87 포인트 높다.
• 전체 WSI 수준에서 HoloHisto-4K는 타일링 및 재구성에 의존하는 기준 모델들보다 유의미하게 높은 딱도 점수 86.11을 달성한다.
• 제거 분석 결과, 토크나이저와 ReLU 어텐션을 결합한 경우, 기준 모델(Learned Proj + MHSA) 대비 4K 패치에서 딱도 점수 1.85 포인트 향상된다.
• 타일링 대신 무작위 4K 샘플러를 사용할 경우 WSI 수준 딱도 점수는 3.67 포인트 향상되어 엔드 투 엔드 학습의 이점을 입증한다.
• NEPTUNE 데이터셋에서 HoloHisto는 모든 조직 스케일에서 기준 모델보다 높은 딱도 점수를 기록했으며, 3000×3000 해상도에서 일관된 성능 향상을 보였다.
• 모델는 단일 순환 전파를 통해 완전한 기가픽셀 분할 마스크를 성공적으로 생성하여 진정한 엔드 투 엔드 기능을 입증했다.