[논문 리뷰] A Lifelong Learning Approach to Brain MR Segmentation Across Scanners and Protocols

Neerav Karani, Krishna Chaitanya외 2명|arXiv (Cornell University)|2018. 05. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 14인용 수 6

한 줄 요약

이 논문은 뇌 MR 영상 분할을 위한 수명 주기 학습 프레임워크를 제안하며, 도메인별 배치 정규화(BN) 레이어를 사용하는 공유 컨볼루션 필터를 통해 단일 CNN을 새로운 스캐너나 프로토콜에 적응시키며 약 ~4개의 레이블된 이미지만으로도 작동한다. 이 방법은 재학습 없이도 이전에 본 도메인에서 높은 성능을 유지하면서도 새로운 도메인에서 기준 성능에 근접한 정확도를 달성하며 이전 지식을 유지한다.

ABSTRACT

Convolutional neural networks (CNNs) have shown promising results on several segmentation tasks in magnetic resonance (MR) images. However, the accuracy of CNNs may degrade severely when segmenting images acquired with different scanners and/or protocols as compared to the training data, thus limiting their practical utility. We address this shortcoming in a lifelong multi-domain learning setting by treating images acquired with different scanners or protocols as samples from different, but related domains. Our solution is a single CNN with shared convolutional filters and domain-specific batch normalization layers, which can be tuned to new domains with only a few ($\approx$ 4) labelled images. Importantly, this is achieved while retaining performance on the older domains whose training data may no longer be available. We evaluate the method for brain structure segmentation in MR images. Results demonstrate that the proposed method largely closes the gap to the benchmark, which is training a dedicated CNN for each scanner.

연구 동기 및 목표

• 강도 및 대trast 변화로 인해 MRI 데이터가 다른 스캐너나 프로토콜에서 올 경우 분할 성능이 떨어지는 문제를 해결하기 위해.
• 기존에 학습한 도메인을 잊지 않고도 새로운 영상 도메인에 지속적으로 적응할 수 있는 딥 러닝 모델을 가능하게 하기 위해.
• 레이블된 데이터가 부족하고 데이터 분포가 시간이 지남에 따라 변화하는 실세계 임상 적용을 위한 실용적인 해결책을 개발하기 위해.
• 각 스캐너마다 별도의 네트워크를 훈련시키는 것과 유사한 성능를 달성하면서도 단일 통합 모델로 수행하기 위해.

제안 방법

• 모든 스캐너/프로토콜 간 공유 컨볼루션 필터를 사용하여 단일 U-Net 기반 CNN을 훈련시켜 공통된解부학적 특징을 활용한다.
• 각 스캐너/프로토콜가 고유의 학습 가능한 γ 및 β 파rameter를 가지는 도메인별 배치 정규화 레이어를 도입하면서도 컨볼루션 가중치는 공유한다.
• 공유된 컨볼루션 필터를 업데이트하지 않고, 약 4개의 레이블된 이미지만으로도 새로운 도메인에 대해 BN 파rameter만 미세조정한다.
• 각 도메인의 원래 BN 파rameter(γ, β)를 저장하고 재사용하여 이전 도메인의 성능을 유지한다.
• 다양한 도메인에서 먼저 훈련한 후 새로운 도메인에 적응하는 다도메인 훈련 설정을 사용한다.
• 수명 주기 학습 설정에서 적용: 새로운 도메인이 점진적으로 추가되며 최소한의 데이터로도 이전 성능가 유지된다.

실험 결과

연구 질문

• RQ1 최소한의 레이블된 데이터로 새로운 MRI 스캐너나 프로토콜에 효과적으로 적응할 수 있는 단일 딥 러닝 모델을 개발할 수 있는가?
• RQ2 도메인별 배치 정규화가 공유 BN 또는 도메인 불변 특징 학습에 비해 스캐너 간 강도 변화를 다루는 데 얼마나 효과적인가?
• RQ3 수명 주기 학습 접근법이 다양한 데이터 분포 간 치명적인 잊음 현상을 어느 정도 완화할 수 있는가?
• RQ4 초기 훈련 기간 동안 볼 수 없었던 새로운 MR 모odalities(예: T2-가중)로 일반화가 가능한가?

주요 결과

• 제안된 방법은 새로운 도메인(D4 및 D5)에서 전용 CNN을 각 도메인에서부터 새로 훈련한 것과 유사한 덱스 점수를 달성했으며, 기준 모델 대비 최대 15% 향상된 성능을 보였다.
• 새로운 도메인에 대해 BN 파rameter를 미세조정한 후, D4에서 평균 덱스 점수 0.841, D5에서 0.715를 기록하여 도메인별 BN이 없는 기준 모델보다 유의미하게 뛰어난 성능을 보였다.
• 새로운 도메인에 적응한 후에도 이전에 본 도메인(D1, D2, D3)의 성능은 변화가 없었으며, 치명적인 잊음 현성이 없음을 확인했다.
• 정성적 결과에서는 적응 후 분할 마스크가 특히 히포크라머스 및 편도체와 같은 도전적인 영역에서 참값과 매우 유사한 결과를 보였다.
• 표준 BN 및 히스토그램 균형화 전처리 방법은 새로운 도메인에서 성능이 떨어졌으며, 이는 제안된 방법이 이를 능가함을 시사한다.
• D4 및 D5와 같이 극단적인 강도 이동을 보이는 도메인에도 불구하고 기준 모델이 완전히 실패하는 상황에서도 모델은 높은 성능를 유지했다.