[논문 리뷰] Domain Adaptive Relational Reasoning for 3D Multi-Organ Segmentation

Shuhao Fu, Yongyi Lu외 5명|arXiv (Cornell University)|2020. 05. 18.

Domain Adaptation and Few-Shot Learning참고 문헌 35인용 수 15

한 줄 요약

이 논문은 CT 영상에서 3D 다기관 분할을 위한 새로운 비지도 도메인 적응 방법인 도메인 적응형 관계 추론(DARR)을 제안한다. DARR는 영상 패치에서 퍼즐을 푸는 방식으로 학습한 장기 간 공간적 관계와 초해상도 네트워크를 활용하여 해상도 표준화 및 테스트 시 적응을 수행하며, 훈련 시 타겟 도메인 데이터를 전혀 사용하지 않아도 타겟 데이터셋에서 DSC(Dice Similarity Coefficient) 평균 29.6% 향상을 달성한다.

ABSTRACT

In this paper, we present a novel unsupervised domain adaptation (UDA) method, named Domain Adaptive Relational Reasoning (DARR), to generalize 3D multi-organ segmentation models to medical data collected from different scanners and/or protocols (domains). Our method is inspired by the fact that the spatial relationship between internal structures in medical images is relatively fixed, e.g., a spleen is always located at the tail of a pancreas, which serves as a latent variable to transfer the knowledge shared across multiple domains. We formulate the spatial relationship by solving a jigsaw puzzle task, i.e., recovering a CT scan from its shuffled patches, and jointly train it with the organ segmentation task. To guarantee the transferability of the learned spatial relationship to multiple domains, we additionally introduce two schemes: 1) Employing a super-resolution network also jointly trained with the segmentation model to standardize medical images from different domain to a certain spatial resolution; 2) Adapting the spatial relationship for a test image by test-time jigsaw puzzle training. Experimental results show that our method improves the performance by 29.60% DSC on target datasets on average without using any data from the target domain during training.

연구 동기 및 목표

• 다른 CT 스캐너나 촬영 프로토콜 간 모델 전이 시 발생하는 심각한 성능 저하 문제를 해결하기 위해.
• 타겟 도메인의 레이블 데이터를 요구하지 않고도 모델의 일반화 성능을 향상시키기 위해.
• 장기 간 고유한 공간 일관성을 도메인 불변의 인덕티브 바이어스로 활용하여 비지도 도메인 적응을 위한 기반을 마련하기 위해.
• 재학습 없이도 새로운 도메인에 적응할 수 있는 방법을 개발하여 임상 현장에서 다양한 영상 프로토콜을 가진 기관에 실질적인 적용을 가능하게 하기 위해.

제안 방법

• 장기 간 공간적 관계를 퍼즐 풀이 작업으로 정의하여, 뒤섞인 3D 패치에서 CT 스캔을 재구성함으로써 강건하고 이식 가능한 공간 사전 지식을 학습한다.
• 세분화 및 퍼즐 풀이 헤드와 함께 공동으로 훈련된 초해상도 네트워크를 통합하여, 다양한 도메인에서 온 저해상도 입력을 동일한 해상도로 표준화한다.
• 재학습 없이도 타겟 도메인의 분포에 적응하기 위해, 단일 비라벨 테스트 케이스에서 테스트 시 퍼즐 풀이 학습을 적용한다.
• 다중 작업 학습 프레임워크를 통해 세분화, 퍼즐 풀이, 초해상도 작업을 공동 최적화하여 특징의 강건성과 관계 일반화 능력을 향상시킨다.
• 장기 위치 분포의 안정성을 검증하기 위해 젠슨-셜론 발산을 사용하여, 공간 관계가 도메인 불변 신호로 사용될 수 있음을 뒷받침한다.

실험 결과

연구 질문

• RQ1 3D CT 영상에서 장기 간 공간적 관계는 다기관 분할의 비지도 도메인 적응에 대해 강건하고 도메인 불변의 인덕티브 바이어스로 기능할 수 있는가?
• RQ2 레이블이 없는 타겟 데이터를 사용하지 않고 다양한 CT 스캐너와 프로토콜 간의 모델 일반화를 어떻게 향상시킬 수 있는가?
• RQ3 퍼즐 풀이를 통한 테스트 시 적응이 새로운 타겟 도메인에서 성능 향상에 기여하는가?
• RQ4 초해상도와 관계 추론을 공동으로 적용할 경우, 도메인 이동에 대응하는 특징 학습과 분할 정확도는 어느 정도 향상되는가?

주요 결과

• DARR는 훈련 시 타겟 도메인 애너테이션을 전혀 사용하지 않아도 다섯 개인 공개 타겟 데이터셋에서 기준 모델 대비 DSC(Dice Similarity Coefficient) 평균 29.6% 향상을 달성한다.
• VNET-SR 버전만으로도 NIH 췌장 데이터셋에서 DSC를 최대 25.16% 향상시켜 초해상도 기법이 해상도 불일치 문제를 효과적으로 해결함을 입증한다.
• VNET-Puzzle 버전은 MSD 췌장 데이터셋에서 DSC를 최대 31.70% 향상시켜 관계 추론이 특징 학습을 강화함을 확인한다.
• 전체 DARR 모델은 MSD 간판 및 NIH 췌장 데이터셋에서 하한 기준 대비 40% 이상의 DSC 향상을 기록하며, SIFA 및 GAN 기반 방법을 모두 능가한다.
• 정성적 결과에서는 DARR가 기준 모델과 달리 장기의 공간 구성에 기반해 왼쪽과 오른쪽 신장을 정확히 구분함을 보여준다.
• 절단 분석 결과, 초해상도 모듈과 퍼즐 풀이 모듈이 성능 향상에 독립적이고 상호보완적으로 기여하는 것으로 확인된다.