[논문 리뷰] Critical Assessment of Transfer Learning for Medical Image Segmentation with Fully Convolutional Neural Networks

Davood Karimi, Simon K. Warfield외 1명|arXiv (Cornell University)|2020. 05. 30.

Radiomics and Machine Learning in Medical Imaging인용 수 14

한 줄 요약

이 논문은 의료 영상 분할에서 완전 컨volution 네트워크(FCNs)에 대한 전이 학습을 철저히 평가하며, 인코더를 고정하고 디코더만 훈련하는 것이 매우 높은 정확도를 얻는다는 것을 입증한다. 놀랍게도, 사전 훈련된 특징은 이전에 상정된 것보다 더 중요하지 않으며, 깊이 있는 디코더 레이어에서 높은 수준의 특징 재사용이 관찰되어 인코더 미세조정에 대한 전통적 통념을 도전한다.

ABSTRACT

Transfer learning is widely used for training machine learning models. Here, we study the role of transfer learning for training fully convolutional networks (FCNs) for medical image segmentation. Our experiments show that although transfer learning reduces the training time on the target task, the improvement in segmentation accuracy is highly task/data-dependent. Larger improvements in accuracy are observed when the segmentation task is more challenging and the target training data is smaller. We observe that convolutional filters of an FCN change little during training for medical image segmentation, and still look random at convergence. We further show that quite accurate FCNs can be built by freezing the encoder section of the network at random values and only training the decoder section. At least for medical image segmentation, this finding challenges the common belief that the encoder section needs to learn data/task-specific representations. We examine the evolution of FCN representations to gain a better insight into the effects of transfer learning on the training dynamics. Our analysis shows that although FCNs trained via transfer learning learn different representations than FCNs trained with random initialization, the variability among FCNs trained via transfer learning can be as high as that among FCNs trained with random initialization. Moreover, feature reuse is not restricted to the early encoder layers; rather, it can be more significant in deeper layers. These findings offer new insights and suggest alternative ways of training FCNs for medical image segmentation.

연구 동기 및 목표

• 의료 영상에서 FCN을 사용한 분할 정확도에 대한 전이 학습의 실제 영향을 평가하기 위해.
• 의료 영상 분할에서 높은 성능을 내기 위해 사전 훈련된 인코더 가중치가 필수적인지 조사하기 위해.
• 훈련 동안 네트워크 레이어 간에 학습된 표현 방식과 특징 재사용의 변화를 분석하기 위해.
• 전체 인코더의 미세조정을 피하는 대안적 훈련 전략을 탐색하기 위해.
• 전이 학습이 정확도 향상과 수렴 속도 향상에 의미 있는 기여를 하는 조건을 이해하기 위해.

제안 방법

• 다양한 의료 영상 데이터셋(Liver-CT, 태반 뇌, 췌장, 뇌 병변)에서 전이 학습과 무작위 초기화를 모두 사용하여 FCN을 훈련시켰다.
• 소스 작업과 타겟 작업 간 지식 전달 정도를 측정하기 위해 특징 재사용을 지표로 사용하였으며, 레이어 간 특징 맵 간余弦 유사도로 계산하였다.
• 전체 미세조정, 인코더 고정, 디코더 전용 훈련을 비교하여 성능 및 수렴 동역학을 평가하였다.
• 투영 방향 분석과 특징 유사도 지표를 사용하여 훈련 중 표현 변화를 분석하였다.
• 다양한 도메인 이동 조건, 예를 들어 MRI와 CT와 같은 다른 영상 모odal리티 및 다양한 영상 품질 수준에서 전이 학습을 평가하였다.
• 주요 성능 지표로 DSC(Dice Similarity Coefficient)와 훈련 시간을 사용하여 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 FCN 기반 의료 영상 분할에서 전이 학습은 일관되게 분할 정확도를 향상시키는가?
• RQ2 전이 학습을 통해 훈련된 FCN의 성능은 무작위 초기화로 훈련된 것과 비교해 어떻게 되는가?
• RQ3 의료 영상 분할을 위한 FCN 훈련 중 컨볼루션 필터는 어느 정도 변화하는가?
• RQ4 의료 영상 분석을 위한 전이 학습에서 특징 재사용은 초기 인코더 레이어에서 더 크기만 한가, 아니면 더 깊은 디코더 레이어에서 더 크기만 한가?
• RQ5 인코더를 고정하고 디코더만 훈련시켜도 고정확도의 분할을 달성할 수 있는가?

주요 결과

• 전이 학습은 훈련 시간을 줄이지만, 특히 타겟 데이터가 풍부하고 영상 품질이 높을 경우 정확도 향상은 미미하다.
• 제한된 또는 저품질의 데이터를 가진 도전적인 작업에서는 전이 학습이 더 큰 정확도 향상을 가져오며, 코르티컬 플레이트 분할에서 DSC 향상 최대 0.10까지 기록된다.
• FCN의 컨볼루션 필터는 훈련 중 거의 변화하지 않으며, 수렴 시에도 여전히 무작위처럼 보여, 인코더에서의 특징 적응이 최소임을 시사한다.
• 무작위 초기화 상태에서 인코더를 고정하고 마지막 두 개의 디코더 레이어만 훈련시켜도 매우 정확한 모델(DSC > 0.95, Liver-CT 기준)을 달성할 수 있다.
• 특징 재사용은 초기 레이어에만 국한되지 않으며, 일부 경우에서는 인코더에서 디코더로 갈수록 증가하며, 디코더 레이어에서 최대 0.690까지 재사용 값이 관찰된다.
• 전이 학습을 통해 훈련된 모델은 무작위 초기화로 훈련된 모델과 유사하게 표현에 높은 변동성을 보이며, 이는 런 간에 학습된 특징의 일관성이 낮음을 시사한다.