[논문 리뷰] Towards Continuous Domain adaptation for Healthcare

Rahul Venkataramani, Hariharan Ravishankar외 1명|arXiv (Cornell University)|2018. 12. 04.

Machine Learning in Healthcare참고 문헌 9인용 수 5

한 줄 요약

이 논문은 의료 영상 분할에서 연속적인 도메인 적응을 위한 메모리 보강 신경망 프레임워크인 ContextNets를 제안한다. 이는 소수의 레이블이 부여된 타겟 이미지만으로도 사이트별 적응을 가능하게 하며, 유사한 케이스들로부터의 컨텍스트 임베딩에 조건을 두어 추론을 수행함으로써, 재학습이나 소스 도메인 데이터 접근 없이도 다양한 코hort에서 X선 폐 분할 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Deep learning algorithms have demonstrated tremendous success on challenging medical imaging problems. However, post-deployment, these algorithms are susceptible to data distribution variations owing to \emph{limited data issues} and \emph{diversity} in medical images. In this paper, we propose \emph{ContextNets}, a generic memory-augmented neural network framework for semantic segmentation to achieve continuous domain adaptation without the necessity of retraining. Unlike existing methods which require access to entire source and target domain images, our algorithm can adapt to a target domain with a few similar images. We condition the inference on any new input with features computed on its support set of images (and masks, if available) through contextual embeddings to achieve site-specific adaptation. We demonstrate state-of-the-art domain adaptation performance on the X-ray lung segmentation problem from three independent cohorts that differ in disease type, gender, contrast and intensity variations.

연구 동기 및 목표

• 영상 장비, 프로토콜, 환자 인구 통계의 다양성으로 인한 도메인 이동 문제를 해결하기 위해.
• 재학습, 소스 도메인 데이터 또는 대규모 타겟 데이터셋이 필요한 기존 도메인 적응 방법의 한계를 극복하기 위해.
• 최소한의 애너테이션 노력으로 실제 임상 환경에서의 수명 주기적, 점진적인 적응을 가능하게 하기 위해.
• 소스 도메인 데이터의 저장이나 접근 없이도 개인정보 보호를 고려한 솔루션을 제공하기 위해.
• 세그멘테이션에서 지도 및 비지도 도메인 적응을 위한 통합 프레임워크를 개발하기 위해.

제안 방법

• 각 타겟 도메인 $d$ 마다 메모리 모듈 $\mathcal{M}^d$ 를 도입하여 이전에 관측된 케이스들로부터의 이미지 특징과 컨텍스트 특징을 저장한다.
• 입력 이미지로부터 매핑 함수를 통해 쿼리 특징 $q$ 와 컨텍스트 특징 $c_i$ 를 계산함으로써, 의미적으로 유사한 케이스들을 검색할 수 있도록 한다.
• 쿼리 특징을 사용하여 $T$ 개의 가장 가까운 이웃인 지원 세트 $C(I_k)$ 를 검색하고, 이로써 동적 적응을 위한 컨텍스트 세트를 구성한다.
• 지원 세트의 컨텍스트 특징들로부터 컨텍스트 벡터 $C_v(I_k)$ 를 생성하여 추론에 조건을 부여한다.
• 컨텍스트 벡터 $C_v(I_k)$ 를 원소별 곱셈을 통해 인코더의 특징 맵에 통합하여 컨텍스트 임베딩 $C_e[I_k] = E[I_k] \circledast C_v[I_k]$ 를 생성한다.
• 컨텍스트 임베딩에 표준 디코더를 적용하여 최종 분할 예측을 도출하고, BCE 손실을 최적화한다.

실험 결과

연구 질문

• RQ1 소수의 레이블이 부여된 타겟 이미지만으로도 메모리 보강 신경망이 의료 영상 분할에서 효과적인 도메인 적응을 달성할 수 있는가?
• RQ2 유사한 케이스들로부터의 컨텍스트 임베딩은 표준 미세조정 또는 전이 학습 대비 도메인 이동 상황에서 분할 성능을 어떻게 향상시키는가?
• RQ3 제안된 방법이 소스 도메인 데이터 접근 없이도 최신 기술 수준의 비지도 도메인 적응 방법을 능가할 수 있는가?
• RQ4 병변 유형, 대비, 강도 변화가 다양한 임상 코hort 간에서 이 방법이 얼마나 일반화되는가?
• RQ5 메모리 크기가 소수의 예제로 제한되었을 때 이 방법의 견고성은 어느 정도인가?

주요 결과

• ContextNet$_2$ 는 JSRT 데이터셋에서 NoDA 베이스라인 대비 7% 향상된 성능을 기록하여 강력한 도메인 적응 성능을 입증하였다.
• ContextNet$_2$ 는 소스 도메인 데이터 접근과 각 사이트별 GAN 학습이 필요한 SeUDA 방법을 뛰어넘었다.
• 폐미세결절성 폐질환 데이터셋과 같은 도전적인 데이터셋에서 ContextNet$_2$ 는 재학습이 없는 상황에서 실현 불가능한 TransferLearnt 상한선에 근접한 딱딱한 점수를 기록하여 거의 최적의 성능을 달성했다.
• 메모리 항목이 50개에 불과한 상황에서도 ContextNet$_2$ 는 JSRT 데이터셋에서 약 0.96의 딱딱한 점수를 유지하여 메모리 크기 제약에 대한 견고성을 입증했다.
• 시각화 결과는 ContextNet$_2$ 가 기존 U-Net 베이스라인 대비 더 매끄럽고 정확한 마스크를 생성했음을 확인했으며, 특히 유방 조직이나 진행된 질환으로 인한 구조적 변형이 있는 경우에 뚜렷한 우수성을 보였다.