[논문 리뷰] Mitosis domain generalization in histopathology images -- The MIDOG challenge

Marc Aubreville, Nikolas Stathonikos외 33명|arXiv (Cornell University)|2022. 04. 06.

AI in cancer detection인용 수 4

한 줄 요약

이 논문은 여러 전체 슬라이드 스캐너를 통해 조직병리학 영상에서 미토시스 검출을 위한 도메인 일반화 방법을 평가하는 MIDOG 2021 챌린지를 제시한다. 우승 방법은 검출되지 않은 스캐너에서 상태 최고 수준의 성능을 보이며 F₁ 점수 0.748 (95% 신뢰구간: 0.704–0.781)를 기록했으며, 앙상블, 테스트 시점 증강, 보조 세그멘테이션 작업이 주요 성공 요인으로 부각되었다.

ABSTRACT

The density of mitotic figures within tumor tissue is known to be highly correlated with tumor proliferation and thus is an important marker in tumor grading. Recognition of mitotic figures by pathologists is known to be subject to a strong inter-rater bias, which limits the prognostic value. State-of-the-art deep learning methods can support the expert in this assessment but are known to strongly deteriorate when applied in a different clinical environment than was used for training. One decisive component in the underlying domain shift has been identified as the variability caused by using different whole slide scanners. The goal of the MICCAI MIDOG 2021 challenge has been to propose and evaluate methods that counter this domain shift and derive scanner-agnostic mitosis detection algorithms. The challenge used a training set of 200 cases, split across four scanning systems. As a test set, an additional 100 cases split across four scanning systems, including two previously unseen scanners, were given. The best approaches performed on an expert level, with the winning algorithm yielding an F_1 score of 0.748 (CI95: 0.704-0.781). In this paper, we evaluate and compare the approaches that were submitted to the challenge and identify methodological factors contributing to better performance.

연구 동기 및 목표

• 디지털 조직병리학에서 전체 슬라이드 스캐너의 다양성으로 인한 도메인 이동 문제를 해결하기 위해.
• 다양한 이미징 장치 간에 일반화 가능한 스캐너 무관(Scanner-agnostic) 딥 러닝 모델을 개발하기 위해.
• 학습 중에 포함되지 않은 두 대의 스캐너를 포함한 네 대의 스캐너를 사용한 벤치마크에서 방법을 평가하기 위해.
• 다양한 스캐너 도메인 간에 강력한 성능을 내는 데 기여하는 방법론적 요소를 특정하기 위해.
• 경쟁자 간의 변동성 감소와 스캐너에 의존하는 성능 저하를 줄임으로써, 종양 등급 매기기에서 인공지능의 임상 적용 가능성을 향상시키기 위해.

제안 방법

• 챌린지는 네 대의 전체 슬라이드 스캐너에서 온 200건의 케이스로 구성된 훈련 세트와, 이전에 보지 못한 두 대의 스캐너를 포함한 100건의 테스트 세트를 사용했다.
• 참가자들은 미토시스 검출을 위한 딥 러닝 모델을 적용했으며, 많은 이들이 강건성을 향상시키기 위해 테스트 시점 증강과 앙상블을 활용했다.
• 최고 성능을 낸 방법들은 특징 학습과 일반화를 향상시키기 위해 보조 세그멘테이션 작업을 통합했다.
• 각 스캐너에서의 F₁ 점수를 평가했으며, 특히 미리 알지 못한 스캐너에서의 성능에 특별한 주의를 기울였다.
• 평가 프레임워크는 스캐너 유도 도메인 이동을 유일한 주요 과제로 분리하기 위해 통제된 염색 조건을 확보했다.
• 모델 아키텍처, 데이터 증강, 훈련 전략이 도메인 일반화에 미치는 영향을 분석하기 위해 결과를 분석했다.

실험 결과

연구 질문

• RQ1 딥 러닝 모델이 훈련 중에 볼 수 없었던 스캐너를 포함한 여러 전체 슬라이드 스캐너에서 강건한 미토시스 검출 성능을 달성할 수 있는가?
• RQ2 앙상블, 테스트 시점 증강, 또는 보조 작업과 같은 방법론적 구성 요소 중에서 도메인 일반화를 향상시키는 데 가장 크게 기여하는 요소는 무엇인가?
• RQ3 염색 또는 조직 유형과 같은 다른 변동 원인에 비해 스캐너의 차이로 인한 도메인 이동이 모델 성능에 미치는 영향은 어떠한가?
• RQ4 영역 관심 영역(ROI) 패치에서의 모델 성능이 더 높은 조직 복잡성을 지닌 전체 슬라이드 영상으로 일반화되는 정도는 어느 정도인가?
• RQ5 모델 아키텍처의 크기와 설계는 다양한 스캐너 도메인 간의 일반화를 달성하는 데 어떤 역할을 하는가?

주요 결과

• 최고 성능을 낸 방법은 F₁ 점수 0.748 (95% 신뢰구간: 0.704–0.781)를 기록했으며, 동일한 작업에서 전문가 병리학자 수준의 성능를 보였다.
• 상위 세 개의 방법 모두 보조 세그멘테이션 작업을 사용했으며, 이는 도메인 일반화에 잠재적인 이점이 있음을 시사하지만, 인과관계는 확인되지 않았다.
• 상위 일곱 개의 방법 중 다섯 개는 앙상블 또는 테스트 시점 증강을 사용했으며, 이는 강건성 향상에 기여하는 주요 전략임을 시사한다.
• 스캐너 D와 F에서 모델 성능이 뚜렷이 떨어졌는데, 특히 레이블이 제공되지 않은 경우 더욱 심했다. 이는 고려되지 않은 도메인 이동 또는 이미지 품질 문제를 시사한다.
• 더 큰 분류 네트워크는 더 좋은 성능을 보였으며, 이는 아키텍처 용량이 일반화를 지원할 수 있음을 시사한다.
• 이 챌린지는 전체 슬라이드 스캐너에서의 도메인 이동이 주요하지만 극복 가능한 장벽임을 입증했으며, 최고의 방법들은 검출되지 않은 스캐너에서 최신 기술 성능을 달성했다.