[논문 리뷰] Addressing catastrophic forgetting for medical domain expansion

Sharut Gupta, Praveer Singh외 14명|arXiv (Cornell University)|2021. 03. 24.

Machine Learning in Healthcare인용 수 4

한 줄 요약

이 논문은 의료 도메인 확장에서 치명적인 잊음 현상을 완화하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC)과 배치 정규화 통계의 적응적 조절을 결합한 새로운 접근법을 제안한다. 이 방법은 기존 데이터셋에서의 성능을 유지하면서 다른 기관이나 시스템의 신규 의료 영상 데이터로의 피지컬 트레이닝을 가능하게 하며, 기존 최고 수준의 방법들보다 통계적으로 유의미한 성능 향상으로 인해 모델의 강건성과 일반화 능력이 향상된다.

ABSTRACT

Model brittleness is a key concern when deploying deep learning models in real-world medical settings. A model that has high performance at one institution may suffer a significant decline in performance when tested at other institutions. While pooling datasets from multiple institutions and retraining may provide a straightforward solution, it is often infeasible and may compromise patient privacy. An alternative approach is to fine-tune the model on subsequent institutions after training on the original institution. Notably, this approach degrades model performance at the original institution, a phenomenon known as catastrophic forgetting. In this paper, we develop an approach to address catastrophic forget-ting based on elastic weight consolidation combined with modulation of batch normalization statistics under two scenarios: first, for expanding the domain from one imaging system's data to another imaging system's, and second, for expanding the domain from a large multi-institutional dataset to another single institution dataset. We show that our approach outperforms several other state-of-the-art approaches and provide theoretical justification for the efficacy of batch normalization modulation. The results of this study are generally applicable to the deployment of any clinical deep learning model which requires domain expansion.

연구 동기 및 목표

• 새로운 의료 기관이나 영상 시스템에 딥 러닝 모델을 구현할 때 발생하는 치명적인 잊음 현상에 대응한다.
• 초기 데이터셋에서 높은 성능를 유지하면서도, 다시 처음부터 재학습하지 않고도 새로운 도메인 데이터에 적응할 수 있는 방법을 개발한다.
• 개인정보 보호 및 데이터 공유 제약 조건을 극복하기 위해 중앙집중적 재학습 대신 증분적 도메인 확장을 위한 피지컬 트레이닝을 가능하게 한다.
• 배치 정규화 조절이 도메인 간 분포 이탈을 완화하는 데 효과적인 이유에 대한 이론적 근거를 제공한다.
• 다중 기관 환경에서의 실제 임상 적용을 고려해, 딥 러닝 모델의 일반화 능력을 입증한다.

제안 방법

• 원본 데이터셋에서 학습된 핵심 파라미터의 업데이트를 제약하기 위해 탄성 가중치 통합(Elastic Weight Consolidation, EWC)을 적용하여 파라미터 중요도 정규화를 통한 지식 유지 전략을 구현한다.
• 배치 정규화(BN) 통계의 적응적 조절을 도입하여, 피지컬 트레이닝 중에 실행 평균과 분산을 조정함으로써 내부 활성화를 새로운 도메인에 맞추도록 한다.
• EWC와 BN 조절을 결합하여 증분적 피지컬 트레이닝 중 원본 도메인과 타겟 도메인 양쪽에서 성능이 안정화되도록 한다.
• 다양한 시야에서의 영상 예측 결과를 환자 수준에서 평균화하여 최종 환자 수준의 유방 밀도 평가를 도출한다.
• ImageNet 사전학습을 적용한 ResNet-50 모델을 사용하며, 교차 엔트로피 손실과 Adam 옵timizer를 활용하고, 조기 정지 및 모델 체크포인팅을 적용한다.
• 학습 중에 무작위 반전 및 최대 45도의 회전을 통한 데이터 증강을 적용하여 모델의 강건성과 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 EWC와 BN 조절을 조합하여 새로운 기관의 데이터로 딥 러닝 모델을 피지컬 트레이닝할 때 치명적인 잊음 현상을 효과적으로 줄일 수 있는가?
• RQ2 제안된 방법은 원본 도메인과 타겟 도메인 양쪽에서 성능를 유지하는 데 있어 기존 최고 수준의 방법들과 비교해 어떻게 성능를 발휘하는가?
• RQ3 BN 조절이 다양한 영상 시스템과 기관 간 내부 특징 분포를 얼마나 효과적으로 정렬하는가?
• RQ4 기존 데이터셋에서의 성능를 유지하면서도 새로운 도메인에서의 정확도 향상이 이루어지는가?
• RQ5 개인정보 제약 조건과 이질적인 영상 프로토콜이 존재하는 실제 임상 환경에서 이 방법은 확장 가능하고 효과적인가?

주요 결과

• 제안된 방법은 MGH 데이터로의 피지컬 트레이닝 이후에도 원본 DMIST 데이터셋에서의 성능 유지에 있어 베이스라인 피지컬 트레이닝 및 다른 최고 수준의 방법들보다 뚜렷이 뛰어난 성능를 보였다.
• EWC와 BN 조절의 조합은 원본 DMIST 데이터셋에서 코헨의 카파 점수 0.72, MGH 데이터셋에서 0.75를 기록하여 도메인 간 강력한 일반화 능력을 입증했다.
• EWC만 또는 BN 조절만 적용한 경우에 비해 성능 향상이 뚜렷했으며, 이는 두 기법을 조합함으로써 상호 보완적인 효과가 있음을 시사했다.
• 이론적 분석을 통해 BN 조절이 도메인 간 내부 공변량 이동을 효과적으로 줄임으로써 잊음 현상을 완화하는 데 기여함을 확인했다.
• 윌코크슨 부호 순위 검정을 통한 통계 분석 결과, 다양한 평가 지표에서 유의미한 성능 향상(p < 0.05)이 확인되었다.
• 다른 영상 시스템(예: Hologic 대비 GE)의 데이터로 피지컬 트레이닝을 수행할 때도 높은 모델 강건성을 유지함으로써, 이 방법의 일반화 능력이 검증되었다.