[논문 리뷰] Adaptive Weighting Multi-Field-of-View CNN for Semantic Segmentation in Pathology

Hiroki Tokunaga, Yuki Teramoto외 2명|arXiv (Cornell University)|2019. 04. 12.

AI in cancer detection참고 문헌 37인용 수 7

한 줄 요약

이 논문은 다중 확대율(5x, 10x, 20x)에서 유래한 특징을 학습 가능한 가중치 메커니즘을 사용해 적응적으로 융합함으로써 폐 아데노카르시노마 아형 분할을 향상시키는 새로운 의미 분할 프레임워크인 적응 가중 다중시야각 컨볼루션 신경망(Adaptive-Weighting-Multi-Field-of-View CNN, AWMF-CNN)을 제안한다. 전문가 네트워크와 융합 네트워크를 동시에 훈련시킴으로써 전문가 간 상호보완적 특화를 가능하게 하여, 네 클래스 아형 분할 작업에서 가장 우수한 단일 확대율 기반 베이스라인 대비 5.36%의 mIoU 향상을 달성한다.

ABSTRACT

Automated digital histopathology image segmentation is an important task to help pathologists diagnose tumors and cancer subtypes. For pathological diagnosis of cancer subtypes, pathologists usually change the magnification of whole-slide images (WSI) viewers. A key assumption is that the importance of the magnifications depends on the characteristics of the input image, such as cancer subtypes. In this paper, we propose a novel semantic segmentation method, called Adaptive-Weighting-Multi-Field-of-View-CNN (AWMF-CNN), that can adaptively use image features from images with different magnifications to segment multiple cancer subtype regions in the input image. The proposed method aggregates several expert CNNs for images of different magnifications by adaptively changing the weight of each expert depending on the input image. It leverages information in the images with different magnifications that might be useful for identifying the subtypes. It outperformed other state-of-the-art methods in experiments.

연구 동기 및 목표

• 전체 슬라이드 영상(WSI)에서 다수의 폐 아데노카르시노마 아형을 분할하는 데 있어, 서로 다른 확대율이 상호보완적인 진단적 단서를 제공하는 문제를 해결하기 위해.
• 고정된 시야각 패치 기반 방법의 한계를 극복하기 위해, 맥락성과 해상도 간 상호보완적 트레이드오프를 상실하는 문제를 해결하기 위해.
• 병리의사가 적응적으로 확대율을 전환하는 방식을 모방하기 위해, 입력 영상의 특성에 기반해 다중 해상도 특징을 동적으로 가중치를 부여하는 딥 러닝 프레임워크를 개발하기 위해.
• 전문가의 특화와 융합 가중치 최적화를 통해 상호보완적 예측을 유도하는 종단간 훈련을 통해 분할 정확도를 향상시키기 위해.
• U-Net, SegNet, Dilated-Net, DeepLabv3+와 같은 다양한 백본 네트워크에 적용하여 일반화 능력을 입증하기 위해.

제안 방법

• 각각 특정 확대율(5x, 10x, 20x)에서 사전 훈련된 다수의 전문가 컨볼루션 신경망을 사용하여 다중 해상도 특징을 추출한다.
• 학습 가능한 융합 네트워크는 입력 영상에 기반해 각 전문가의 분할 출력에 대해 적응적인 가중치를 동적으로 할당함으로써 맥락 인식 특징 융합을 가능하게 한다.
• 전문가 네트워크와 융합 모듈을 동시에 최적화하는 종단간 훈련을 통해 전문가 간 상호보완적 예측 행동을 장려한다.
• 융합 네트워크는 각 확대율이 현재 입력에 대해 얼마나 관련성이 있는지 반영하는 가중치를 계산하기 위해 미분 가능한 어텐션 메커니즘을 사용한다.
• 프레임워크는 아키텍처에 관계없이, 전문가 네트워크를 원하는 아키텍처로 대체함으로써 어떤 분할 백본에도 적용 가능하다.
• 병리 데이터에서 아형 분포의 불균형을 처리하기 위해 클래스 가중 평균 손실을 사용하여 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 단일 확대율 기반 모델 대비 다중 확대율 특징의 적응적 융합이 폐 아데노카르시노마 아형에 대한 의미 분할 성능을 향상시키는가?
• RQ2 종단간 훈련은 서로 다른 확대율에서 전문가 네트워크의 특화 및 상호보완적 행동에 어떤 영향을 미치는가?
• RQ3 제안된 방법은 U-Net, DeepLabv3+와 같은 다양한 분할 네트워크 아키텍처에 얼마나 일반화되는가?
• RQ4 희귀 아형, 예를 들어 미세판상성 아형의 경우 맥락성과 해상도가 모두 중요한데, 적응 가중 메커니즘이 성능 향상에 기여하는가?
• RQ5 학습을 통해 높은 해상도 또는 넓은 시야 특징을 우선시할 시점을 학습함으로써, 시야 범위와 해상도 간 상호보완적 트레이드오프를 효과적으로 균형 잡을 수 있는가?

주요 결과

• AWMF-CNN은 네 클래스 아형 분할 작업에서 가장 우수한 단일 확대율 기반 베이스라인(20x에서의 DeepLabv3+) 대비 5.36%의 mIoU 향상을 달성했다.
• 종단간 훈련은 개별적으로 사전 훈련된 전문가 대비 정확한 예측의 교집합을 7% 향상시켜 상호보완적 행동 향상을 시사한다.
• Hard-Switch-CNN과 같은 최신 기술을 초월하여 네 클래스 분할 벤치마크에서 0.031 mIoU의 성능 향상을 기록했다.
• U-Net 및 Dilated-Net 백본을 사용할 경우, 가장 우수한 개별 전문가 네트워크 대비 AWMF-CNN이 15.7–16.0% 향상된 성능을 보였다.
• 모델는 강력한 일반화 능력을 보였으며, 테스트된 모든 백본 네트워크에서 가장 우수한 단일 확대율 전문가 대비 3–16%의 mIoU 향상을 기록했다.
• 시각화 결과, 융합 네트워크가 넓은 맥락적 특징(예: 레피딕과 정상 조직 간 구분)에는 5x를 우선시하고, 세밀한 세부 사항(예: 미세판상성 대비 축성형)에는 20x를 우선시하는 방식으로 학습된 것으로 나타나, 병리의사의 행동과 일치함을 확인했다.