[논문 리뷰] Multiple Instance Learning for Digital Pathology: A Review on the State-of-the-Art, Limitations & Future Potential

Michael Gadermayr, Maximilian Tschuchnig|arXiv (Cornell University)|2022. 06. 09.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 디지털 병리학 분야에서 최신 기술의 다중 예제 학습(MIL) 방법을 검토하며, 슬라이드 수준의 레이블만을 사용하여 웨이브 슬라이드 이미지(WSI) 분류를 가능하게 하는 딥 MIL 아키텍처에 초점을 맞춘다. 주목할 만한 추세로는 어텐션 메커니즘과 하이브리드 인스턴스-임베딩 학습이 언급되며, 데이터 부족과 GPU 메모리 제약이 주요 과제로 지적되며, 작은 데이터셋 문제를 해결하기 위해 개선된 데이터 증강과 전이 학습이 필요하다고 제안한다.

ABSTRACT

Digital whole slides images contain an enormous amount of information providing a strong motivation for the development of automated image analysis tools. Particularly deep neural networks show high potential with respect to various tasks in the field of digital pathology. However, a limitation is given by the fact that typical deep learning algorithms require (manual) annotations in addition to the large amounts of image data, to enable effective training. Multiple instance learning exhibits a powerful tool for learning deep neural networks in a scenario without fully annotated data. These methods are particularly effective in this domain, due to the fact that labels for a complete whole slide image are often captured routinely, whereas labels for patches, regions or pixels are not. This potential already resulted in a considerable number of publications, with the majority published in the last three years. Besides the availability of data and a high motivation from the medical perspective, the availability of powerful graphics processing units exhibits an accelerator in this field. In this paper, we provide an overview of widely and effectively used concepts of used deep multiple instance learning approaches, recent advances and also critically discuss remaining challenges and future potential.

연구 동기 및 목표

• 디지털 병리학에서 널리 사용되고 효과적인 딥 다중 예제 학습(MIL) 접근법을 조사하기 위해.
• 웨이브 슬라이드 이미지(WSI) 분류를 위한 최근 MIL 모델에서의 핵심 기술적 발전과 아키텍처 혁신을 규명하기 위해.
• 부족한 학습 데이터와 GPU 메모리 제약과 같은 잔류한 한계점들을 비판적으로 분석하기 위해.
• 작은 데이터셋에서의 성능 향상을 위해 데이터 증강과 전이 학습과 같은 향후 연구 방향을 탐색하기 위해.
• 임상적 적용보다는 기술적 혁신에 초점을 맞춘 디지털 병리학에서의 MIL 응용 전반에 대한 종합적 개요를 제공하기 위해.

제안 방법

• 논문은 웨이브 슬라이드 이미지(WSIs)에서 추출한 패치 수준의 특징을 사용하여 슬라이드 수준의 레이블을 예측하는 최근의 딥 MIL 방법을 통합하고 분석한다.
• 모델이 WSI 백 내의 분류 가능한 패치에 집중할 수 있도록 해주는 어텐션 메커니즘의 중요성을 강조한다. 이는 해석 가능성과 성능 향상에 기여한다.
• 특징 학습과 분류 정확도 향상을 위해 인스턴스 수준과 임베딩 수준의 표현을 결합한 하이브리드 학습 전략을 논의한다.
• 예를 들어 ImageNet에서 사전 훈련된 컨볼루션 신경망을 사용하여 특징 추출한 후, MIL 전용 집계 기법(예: 단어의 집합 또는 클러스터링)을 적용하는 방식을 검토한다.
• 패치 수준 예측을 히스토GRAM으로 집계하여 SVM과 같은 얕은 분류기로 후속 분류를 수행하는 카운트 기반 MIL 방법을 평가한다.
• 딥 MIL과 고전적 MIL, 비딥 러닝 접근법을 대조하여, 고차원적 WSI 데이터를 처리하는 데 있어 딥 아키텍처의 장점을 부각한다.

실험 결과

연구 질문

• RQ1 디지털 병리학을 위한 다중 예제 학습에서 현재 가장 효과적인 딥 러닝 아키텍처와 기법은 무엇인가?
• RQ2 패치 수준의 레이블이 없을 경우 어텐션 메커니즘과 하이브리드 인스턴스-임베딩 학습은 WSI 분류에 어떻게 기여하는가?
• RQ3 특히 데이터 부족과 하드웨어 제약에 기인한 성능 저하 및 도입 저항을 가로막는 주요 한계점은 무엇인가?
• RQ4 전이 학습과 데이터 증강이 WSI 분류에서 작은 학습 데이터셋 문제를 어느 정도 완화할 수 있는가?
• RQ5 의료 워크플로우 통합과 해석 가능성 측면에서, MIL 기반 접근법은 전통적인 세그먼테이션 및 분류 모델과 비교해 어떻게 다를까?

주요 결과

• 어텐션 메커니즘과 하이브리드 인스턴스-임베딩 학습은 최근 디지털 병리학을 위한 딥 MIL 모델에서 주목할 만한 추세로 부상하고 있다.
• 아키텍처적 유사성에도 불구하고, 최근 방법들은 손실 함수, 어텐션 메커니즘, 특징 집계 전략에서 뚜렷한 혁신을 보이고 있다.
• ImageNet과 같은 대규모 데이터셋에서 사전 훈련된 특징의 사용은 일반적인 관행이며, 특히 MIL 전용 적응 전략과 조합할 경우 성능 향상에 기여한다.
• 패치 특징의 히스토GRAM과 SVM과 같은 얕은 분류기를 사용하는 카운트 기반 MIL 방법은 매우 적은 수의 웨이브 슬라이드 이미지에서도 강력한 성능을 보인다.
• 엔드 투 엔드로 훈련 가능한 MIL 모델로의 명확한 추세가 관찰되지만, 아직도 단일한 아키텍처나 방법론이 지배적인 위치를 차지하지는 못하고 있다.
• 전이 학습을 위한 대규모이고 공개된, 조직학적으로 유사한 데이터셋의 부재는 모델 일반화 능력 향상과 성능 향상에 있어 주요 장벽으로 남아 있다.