[논문 리뷰] What is Wrong with Continual Learning in Medical Image Segmentation?

Camila González, Nick Lemke외 2명|arXiv (Cornell University)|2020. 10. 21.

Domain Adaptation and Few-Shot Learning인용 수 14

한 줄 요약

이 논문은 의료 영상 분할을 위한 다중 모델 지속 학습 프레임워크인 UNEG를 제안한다. UNEG는 각 훈련 도메인에 대해 별도의 nnU-Net 분할 모델과 오토에인코더 모델을 유지하며, 추론 시 도메인별 오토에인코더의 재구성 오차를 활용해 최적의 세그먼테이터를 선택한다. 이로 인해 UNEG는 후방 전이 성능에서 기존 지속 학습 방법을 능가하고 치명적인 기억 상실을 방지한다. 이는 단순한 다중 모델 베이스라인 모델이 임상 환경에서 복잡한 지속 학습 접근법보다 더 효과적이고 실용적일 수 있음을 시사한다.

ABSTRACT

Continual learning protocols are attracting increasing attention from the medical imaging community. In continual environments, datasets acquired under different conditions arrive sequentially; and each is only available for a limited period of time. Given the inherent privacy risks associated with medical data, this setup reflects the reality of deployment for deep learning diagnostic radiology systems. Many techniques exist to learn continuously for image classification, and several have been adapted to semantic segmentation. Yet most struggle to accumulate knowledge in a meaningful manner. Instead, they focus on preventing the problem of catastrophic forgetting, even when this reduces model plasticity and thereon burdens the training process. This puts into question whether the additional overhead of knowledge preservation is worth it - particularly for medical image segmentation, where computation requirements are already high - or if maintaining separate models would be a better solution. We propose UNEG, a simple and widely applicable multi-model benchmark that maintains separate segmentation and autoencoder networks for each training stage. The autoencoder is built from the same architecture as the segmentation network, which in our case is a full-resolution nnU-Net, to bypass any additional design decisions. During inference, the reconstruction error is used to select the most appropriate segmenter for each test image. Open this concept, we develop a fair evaluation scheme for different continual learning settings that moves beyond the prevention of catastrophic forgetting. Our results across three regions of interest (prostate, hippocampus, and right ventricle) show that UNEG outperforms several continual learning methods, reinforcing the need for strong baselines in continual learning research.

연구 동기 및 목표

• 지속 학습 방법이 의료 영상 분할에 필수적이라는 가정을 도전하기 위해, 특히 높은 계산 비용과 개인정보 보호 제약이 존재하는 상황에서 고려한다.
• 지식 정규화나 매개변수 정규화 없이도 도메인 별 별도의 모델을 유지하는 것이 기존 지속 학습 기법보다 더 강력한 기준이 될 수 있는지 탐구한다.
• 추론 시 도메인 식별 레이블이 존재하지 않는다는 현실적인 제약 조건을 반영한 공정한 평가 프레임워크를 개발한다.
• 오토에인코더 재구성 오차를 통한 모델 선택이 분포 외 또는 도메인 이동된 테스트 이미지에 대해 가장 적절한 세그먼테이터를 효과적으로 식별할 수 있는지 평가한다.
• 단순히 치명적인 기억 상실을 방지하는 것 외에도, 시간이 지남에 따라 이전 도메인에서의 성능 향상이 이루어지는 '긍정적 후방 전이'가 더 의미 있는 평가 지표임을 입증한다.

제안 방법

• UNEG(U-Net 전문가 게이트)를 제안하며, 각 훈련 도메인에 대해 동일한 아키텍처를 사용하는 nnU-Net 기반의 분할 네트워크와 오토에인코더를 별도로 훈련시킨다.
• 오토에인코더의 재구성 오차를 도메인 유사도의 대체 지표로 사용: 테스트 이미지에 대해 재구성 오차가 가장 낮은 모델을 추론 시 선택한다.
• 분할 모델과 동일한 사전 처리 및 데이터 증강 파이프라인을 사용해 오토에인코더를 훈련시어 아키텍처 및 분포 일치를 확보한다.
• 오토에인코더 훈련에 평균 제곱 오차(MSE) 손실을 사용해 입력 이미지를 재구성하면서도 공간 해상도를 유지한다.
• 도메인 식별 레이블이 알려진 경우(예: 멀티헤드)와 알려지지 않은 경우(예: 실제 환경)를 구분하는 공정한 평가 프로토콜을 도입해 현실적인 벤치마킹을 가능하게 한다.
• 세 가지 의료 영상 분할 작업(전립선, 해마, 우심실)을 공개 데이터셋을 활용해 다양한 해부학적 영역에서 성능을 평가한다.

실험 결과

연구 질문

• RQ1 오토에인코더 재구성 오차를 통한 모델 선택을 활용한 단순한 다중 모델 접근법이 의료 영상 분할에서 복잡한 지속 학습 방법을 능가할 수 있는가?
• RQ2 기존의 지속 학습 방법들이 치명적인 기억 상실을 방지하는 것 외에도 얼마나 긍정적인 후방 전이를 달성하는가?
• RQ3 추론 시 도메인 식별 레이블이 가용하다는 가정은 임상 환경에서 현실적인가? 이는 지속 학습 평가의 타당성에 어떤 영향을 미치는가?
• RQ4 도메인 레이블에 의존하지 않고도 오토에인코더 기반 모델 선택이 분포 외 또는 도메인 이동된 테스트 이미지에 대해 정확한 세그먼테이터를 효과적으로 식별할 수 있는가?
• RQ5 실제 의료 영상 응용 분야에서 지속 학습보다 도메인 별 별도의 모델 유지 전략이 더 실용적이고 효과적인가?

주요 결과

• UNEG는 전립선, 해마, 우심실 등 세 가지 해부학적 영역에서 다수의 지속 학습 기준 모델보다 뛰어난 Dice 스코어를 기록하며 후방 전이 성능이 뛰어나다는 것을 입증한다.
• 대부분의 전립선 케이스에서 정확한 도메인을 식별하며, 해마 및 심장 구조의 경우도 기존 방법들이 실패하는 것과는 달리 높은 정확도를 유지한다.
• 도메인별 오토에인코더의 재구성 오차는 도메인 식별과 강하게 상관되어 있어, 명시적 도메인 레이블 없이도 신뢰할 수 있는 모델 선택이 가능하다.
• 정성적 분석 결과, 분포 내 재구성은 분포 외 재구성보다 훨씬 정확하며 잔차 맵에서 뚜렷한 시각적 차이를 보였다.
• 본 연구는 많은 지속 학습 방법이 긍정적 후방 전이를 달성하지 못하고 있음을 드러내며, 임상 실무에서 복잡한 정규화 기법의 필요성을 의심하게 한다.
• 각 도메인에 대해 오토에인코더를 추가로 훈련시켜 계산 비용이 증가하지만, UNEG는 강력하고 공정하며 실용적인 기준 모델을 제공하며 실제 평가 환경에서 최신 지속 학습 접근법을 능가한다.