[논문 리뷰] Towards continual learning in medical imaging

Chaitanya Baweja, Ben Glocker외 1명|arXiv (Cornell University)|2018. 11. 06.

Radiology practices and education참고 문헌 11인용 수 42

한 줄 요약

본 논문은 연속적으로 두 개 뇌 MRI 분할(Task)을 학습할 때 Elastic Weight Consolidation(EWC)을 평가하고, EWC가 재앙적 망각을 줄이지만 개선 여지가 여전히 크다는 것을 보여준다.

ABSTRACT

This work investigates continual learning of two segmentation tasks in brain MRI with neural networks. To explore in this context the capabilities of current methods for countering catastrophic forgetting of the first task when a new one is learned, we investigate elastic weight consolidation, a recently proposed method based on Fisher information, originally evaluated on reinforcement learning of Atari games. We use it to sequentially learn segmentation of normal brain structures and then segmentation of white matter lesions. Our findings show this recent method reduces catastrophic forgetting, while large room for improvement exists in these challenging settings for continual learning.

연구 동기 및 목표

• 이전 작업 데이터가 이용 불가능한 의료 영상에서 지속적 평생 학습의 필요성을 제시한다.
• 새로운 분할 작업을 학습할 때 정규화 기반 접근법이 망각을 완화하는지 평가한다.
• 생물의학 설정에서 기존 작업 성능 보존과 새로운 작업 성능 습득 간의 트레이드오프를 정량화한다.

제안 방법

• Task A(CSF/GM/WM 분할) 이후 Task B(백질 병변 분할)를 포함하는 지속 학습 설정을 형식화한다.
• Task A에 대한 피셔 정보(Fisher information)를 사용하여 매개변수 업데이트를 정규화하기 위해 Elastic Weight Consolidation(EWC)을 채택한다.
• Fine-tuning, L2 정규화, 다중 작업 학습(상한)을 포함한 대체 기준선과 EWC를 비교한다.
• UK Biobank MRI 데이터의 T1 및 FLAIR 시퀀스에 대해 DeepMedic 3D CNN을 사용해 분할을 수행한다.
• 작업별 Dice 유사도 계수(DSC)를 계산하고 B를 학습하는 동안 A의 성능을 평가하여 망각을 평가한다.

실험 결과

연구 질문

• RQ1 Task A 데이터에 접근할 수 없는 상태에서 뇌 MRI의 새로운 분할 작업을 학습할 때 EWC가 재앙적 망각을 완화할 수 있는가?
• RQ2 Task B를 학습하는 동안 Task A 성능을 보존하는 데 있어 EWC가 단순 정규화나 파인튜닝과 어떻게 비교되는가?
• RQ3 다양한 정규화 강도에서 Task B를 학습하고 Task A를 유지하는 사이의 트레이드오프는 무엇인가?
• RQ4 현재 방법으로의 지속 학습이 두 작업을 함께 학습하는 결합 상한에 근접하는가?

주요 결과

• EWC는 단순 파인튜닝이나 L2 정규화에 비해 Task A의 망각을 감소시킨다.
• 적절한 정규화 강도에서 EWC는 단순 L2 정규화보다 Task A 성능을 잘 보전하면서도 Task B 성능을 얻는다.
• 다중 작업 학습(A와 B를 함께 학습)이 최상의 성능(상한)을 주지만 B 학습 중에 Task A 데이터가 사용 불가능한 경우에는 불가능하다.
• 정규화에도 불구하고 EWC와 다중 작업 상한 사이에 격차가 남아 있어 의료 영상에서 지속 학습의 개선 여지가 있음을 시사한다.