[논문 리뷰] SparseConvMIL: Sparse Convolutional Context-Aware Multiple Instance Learning for Whole Slide Image Classification

Marvin Lerousseau, Maria Vakalopoulou외 2명|arXiv (Cornell University)|2021. 05. 06.

AI in cancer detection참고 문헌 30인용 수 5

한 줄 요약

이 논문은 전체 슬라이드 이미지(WSI) 타일 간의 공간적 관계를 공간 인식 임베딩 맵 위에서 희소 컨볼루션 신경망을 사용하여 모델링하는 새로운 다중 인스턴스 학습 프레임워크인 SparseConvMIL을 제안한다. 희소 컨볼루션을 통해 맥락을 활용함으로써, 32종의 암 아형에 대해 10,000장의 슬라이드로 구성된 대규모 WSI 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 MIL 방법들에 비해 표현 학습과 분류 정확도를 향상시켰다.

ABSTRACT

Multiple instance learning (MIL) is the preferred approach for whole slide image classification. However, most MIL approaches do not exploit the interdependencies of tiles extracted from a whole slide image, which could provide valuable cues for classification. This paper presents a novel MIL approach that exploits the spatial relationship of tiles for classifying whole slide images. To do so, a sparse map is built from tiles embeddings, and is then classified by a sparse-input CNN. It obtained state-of-the-art performance over popular MIL approaches on the classification of cancer subtype involving 10000 whole slide images. Our results suggest that the proposed approach might (i) improve the representation learning of instances and (ii) exploit the context of instance embeddings to enhance the classification performance. The code of this work is open-source at {github censored for review}.

연구 동기 및 목표

• 기존의 MIL 방법들이 타일 간의 공간적 관계를 忽시하는 한계를 해결하기 위해.
• 타일 배치에서의 맥락적 신호를 포착할 수 있는 확장 가능하고 모듈형이며 미분 가능한 MIL 프레임워크를 개발하기 위해.
• 32종의 암 아형에 걸쳐 10,000장의 전체 슬라이드 이미지를 포함한 대규모이고 임상적으로 유의미한 WSI 분류 작업을 벤치마크하기 위해.
• 타일 임베딩 내의 공간적 맥락을 활용하여 인스턴스 표현 학습과 전체 분류 성능을 향상시키기 위해.

제안 방법

• 공유된 패치 임베더(분류기 헤드가 제거된 ResNet34)가 WSI 전역에서 무작위로 샘플링된 128×128 픽셀 타일들로부터 512차원의 임베딩을 추출한다.
• 타일 임베딩은 WSI 내에서의 원래 공간 좌표에 따라 희소 2차원 특징 맵으로 매핑되어 공간적으로 구조화된 표현을 형성한다.
• 희소 입력 컨볼루션 신경망이 희소 맵을 처리하여 타일 임베딩 간의 국소적 및 전역적 공간적 의존성을 포착한다.
• 결과적으로 생성된 WSI 수준의 임베딩은 32개의 유닛을 가진 완전 연결 분류기 헤드를 통과하여 다중 클래스 아형 분류를 수행한다.
• 전체 모델은 이진 교차 엔트로피 손실, Adam 옵timizer, 그리고 타일 좌표에 적용된 데이터 증강(뒤집기, 회전, 줌)을 사용하여 엔드 투 엔드로 훈련된다.
• 클래스 불균형을 다루기 위해, 32개 클래스로 구성된 데이터셋에서 훈련 중에 역빈도 오버샘플링이 적용되었다.

실험 결과

연구 질문

• RQ1 표준 MIL 방법에 비해 타일 임베딩 간의 공간적 관계를 모델링함으로써 WSI 분류 성능을 향상시킬 수 있는가?
• RQ2 희소 컨볼루션 아키텍처가 전체 슬라이드 이미지에서 비정규적으로 분포된 타일 임베딩으로부터 맥락 정보를 효과적으로 포착할 수 있는가?
• RQ3 제안된 방법은 고도로 다양하고 긴 尾 분포를 가지는 대규모 실세계 WSI 데이터셋에서 어떻게 확장되고 성능을 발휘하는가?
• RQ4 희소 맵 표현이 인스턴스 표현 학습과 최종 분류 정확도에 얼마나 기여하는가?

주요 결과

• SparseConvMIL은 32종의 암 아형에 대해 10,000장의 슬라이드로 구성된 WSI 분류 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성하였으며, 기존의 MIL 방법들을 능가하였다.
• 특히 타일 간의 상호 관계를 모델링함으로써 공간적 맥락을 활용함으로써 분류 정확도가 향상되었으며, 이는 주요 성과 요소로 작용하였다.
• 낮은 빈도로 나타나는 암 아형에 대해서도 뛰어난 성능을 기록하였으며, 일부 클래스는 최소 138장의 훈련 슬라이드만을 가졌음에도 불구하고 성능을 유지를 하였다.
• 타일 좌표에 대한 공간적 데이터 증강(뒤집기, 회전, 줌)을 사용함으로써 정규화 및 일반화 능력이 크게 향상되었다.
• 희소 컨볼루션 모듈은 밀도 있는 특징 맵이 필요 없이 비정규적으로 분포된 타일 임베딩을 효과적으로 처리하여 메모리 오버헤드를 줄였다.
• 공유된 임베딩과 분류기 헤드를 사용한 엔드 투 엔드 훈련은 모든 벤치마크된 방법들에 대해 일관된 성능을 보장하였으며, 이는 방법의 확장 가능성과 모ularity를 검증하였다.