[논문 리뷰] Towards continuous learning for glioma segmentation with elastic weight consolidation

Karin van Garderen, Sebastian R. van der Voort외 3명|arXiv (Cornell University)|2019. 09. 25.

Domain Adaptation and Few-Shot Learning참고 문헌 4인용 수 12

한 줄 요약

이 연구는 지속적인 뇌신종양 분할을 위한 딥러닝에서 치명적인 잊음 현상을 완화하기 위해 탄성 무게 보존(Elastic Weight Consolidation, EWC)을 평가한다. BraTS에서 사전학습한 후 내부 저-grade 뇌신종양 데이터셋에 대해 미세조정을 수행할 때 EWC를 적용함으로써 원래 데이터셋에서의 잊음은 감소시켰지만, 새로운 도메인으로의 적응 능력은 제한되어 있어, 의료 영상 분할에서 안정성과 탄력성 사이의 상충관계를 보여준다.

ABSTRACT

When finetuning a convolutional neural network (CNN) on data from a new domain, catastrophic forgetting will reduce performance on the original training data. Elastic Weight Consolidation (EWC) is a recent technique to prevent this, which we evaluated while training and re-training a CNN to segment glioma on two different datasets. The network was trained on the public BraTS dataset and finetuned on an in-house dataset with non-enhancing low-grade glioma. EWC was found to decrease catastrophic forgetting in this case, but was also found to restrict adaptation to the new domain.

연구 동기 및 목표

• 다른 도메인의 신규 의료 영상 데이터로 재학습할 때 딥러닝 모델에서 치명적인 잊음 현상을 완화하기 위한 것이다.
• 원본 학습 데이터에 접근할 수 없는 상황에서 탄성 무게 보존(Elastic Weight Consolidation, EWC)이 지속적 학습을 가능하게 할 수 있는지 조사하기 위한 것이다.
• 도메인 이동 상황에서 EWC 기반 미세조정을 공동 학습 및 도메인 특화 학습과 비교하기 위한 것이다.
• EWC가 원천(BraTS) 및 목표(내부) 뇌신종양 데이터셋에서 성능 안정성에 미치는 영향을 평가하기 위한 것이다.

제안 방법

• 3D U-Net은 불패드 컨볼루션을 사용하여 원천 도메인인 BraTS 데이터셋에서 학습되었고, 목표 도메인인 내부 비강화 저-grade 뇌신종양 데이터셋에서 미세조정되었다.
• EWC는 원천 작업에서 중요한 무게를 보존하기 위해 피셔 정보를 기반으로 한 무게별 페널티를 손실 함수에 추가함으로써 미세조정 중에 적용되었다.
• EWC 페널티는 무게 요소 10과 100을 사용하였고, 양 도메인의 보류된 테스트 세트에서 성능이 평가되었다.
• 양 도메인의 데이터는 공통 등록되었고, 뇌골절 제거, 1 mm³ 등방성 볼륨으로 재샘플링, 평균 0, 분산 1로 강도 정규화되었다.
• 학습을 위해 무작위 108³ 패치에서 20³ 진단 분할 레이블이 추출되었고, 각 도메인에서 순차적으로 50 에포크 동안 모델이 학습되었다.
• 결과의 강건성을 확보하기 위해 두 개의 무작위 데이터 분할을 반복하여 실험을 수행했다.

실험 결과

연구 질문

• RQ1 EWC는 새로운 도메인 이동된 데이터셋에서 뇌신종양 분할 모델을 미세조정할 때 치명적인 잊음 현상을 효과적으로 줄일 수 있는가?
• RQ2 표준 미세조정 대비 EWC는 모델의 새로운 목표 도메인으로의 적응 능력에 어떤 영향을 미치는가?
• RQ3 원천 및 목표 데이터셋을 동시에 학습하는 공동 학습이 순차적 학습(또는 EWC 없음)보다 성능이 뛰어나지 않는가?
• RQ4 이 의료 영상 설정에서 안정성과 탄력성의 균형을 이루기 위한 최적의 EWC 무게 요소는 무엇인가?

주요 결과

• EWC는 BraTS 원천 데이터셋에서 치명적인 잊음 현상을 크게 감소시켰으며, EWC 무게 10을 사용할 경우 평균 Dice 점수를 EWC 미사용 시 68%에서 78%로 향상시켰다.
• 잊음 감소에도 불구하고 EWC는 목표 도메인으로의 적응 능력을 제한하였으며, EWC 무게 100일 경우 Dice 점수는 EWC 미사용 시 73%에서 69%로 하락하였다.
• 목표 도메인에서의 독립 학습은 공동 학습(67% Dice)보다 더 높은 성능(71–74% Dice)을 보였으며, 이는 도메인 특화 적응이 공동 학습보다 더 효과적임을 시사한다.
• BraTS에서 사전학습한 후 EWC로 미세조정한 모델은 동시에 두 도메인을 학습한 것보다 원천 도메인 성능이 뛰어났으며, 이는 EWC가 안정성을 향상시킨다는 것을 의미한다.
• 목표 도메인에서의 낮은 성능은 작은 종양 크기와 낮은 영상 품질로 인해 EWC의 정규화 효과가 악영향을 더 크게 부각시켰을 가능성이 있다.
• EWC 무게를 10에서 100으로 증가시킴에 따라 목표 도메인 성능은 72%에서 72%로 약간 감소하였고, 원천 도메인 성능은 78%에서 73%로 향상되었으며, 이는 안정성과 탄력성 사이의 상충관계를 보여준다.