[논문 리뷰] Transfer Learning U-Net Deep Learning for Lung Ultrasound Segmentation

Dorothy J. Cheng, Edmund Y. Lam|arXiv (Cornell University)|2021. 10. 05.

COVID-19 diagnosis using AI참고 문헌 19인용 수 20

한 줄 요약

이 연구는 정밀한 폐 초음파 영상 분할을 위한 전이 학습 U-Net 프레임워크를 제안하며, VGG16 기반(V-Unet)과 자연 이미지 사전 훈련된(X-Unet) 접근 방식을 비교한다. X-Unet은 약간 낮은 DICE 스코어에도 불구하고 더 뛰어난 시각적 정확도와 더 적은 아티팩트를 기록했으며, 부분적 피니팅은 성능을 추가로 향상시켰다. 이는 제한된 의료 데이터셋에서 전이 학습과 데이터 증강 간의 상호보완적 상호작용을 강조한다.

ABSTRACT

Transfer learning (TL) for medical image segmentation helps deep learning models achieve more accurate performances when there are scarce medical images. This study focuses on completing segmentation of the ribs from lung ultrasound images and finding the best TL technique with U-Net, a convolutional neural network for precise and fast image segmentation. Two approaches of TL were used, using a pre-trained VGG16 model to build the U-Net (V-Unet) and pre-training U-Net network with grayscale natural salient object dataset (X-Unet). Visual results and dice coefficients (DICE) of the models were compared. X-Unet showed more accurate and artifact-free visual performances on the actual mask prediction, despite its lower DICE than V-Unet. A partial-frozen network fine-tuning (FT) technique was also applied to X-Unet to compare results between different FT strategies, which FT all layers slightly outperformed freezing part of the network. The effect of dataset sizes was also evaluated, showing the importance of the combination between TL and data augmentation.

연구 동기 및 목표

• 전이 학습을 활용한 U-Net을 통해 폐 초음파 영상에서 갈비뼈의 분할 정확도를 향상시키는 것.
• 의료 영상 분할에 대해 VGG16과 자연 주목 객체 데이터셋 기반 사전 훈련 전략의 효과를 평가하는 것.
• 낮은 데이터 환경에서 U-Net에 대한 전이 학습의 피니팅 전략을 조사하는 것.
• 전이 학습과 결합된 데이터셋 크기와 데이터 증강의 영향을 평가하는 것.
• 강건한 분할을 위한 사전 훈련 소스와 피니팅 전략 간 최적의 균형을 도출하는 것.

제안 방법

• ImageNet을 통해 VGG16로 사전 훈련된 인코더를 갖춘 수정된 U-Net 아키텍처(V-Unet).
• grayscale 자연 주목 객체 데이터셋으로 사전 훈련된 인코더를 갖춘 U-Net 구축(X-Unet).
• 폐 초음파 데이터에서 학습 중 인코더 레이어의 수를 다양하게 동결하여 부분적 피니팅 적용.
• 분할 성능 평가에 DICE 계수와 시각적 검토를 사용.
• 제한된 훈련 데이터 하에서 모델 일반화를 향상시키기 위해 데이터 증강 기법을 활용.
• 다양한 전이 학습 기법과 피니팅 전략 간 모델 성능 비교.

실험 결과

연구 질문

• RQ1 VGG16과 자연 주목 객체 데이터셋 중 어느 사전 훈련 소스가 폐 초음파 영상 분할 성능을 더 좋게 하는가?
• RQ2 부분적 피니팅이 전체 피니팅에 비해 분할 정확도와 아티팩트 감소 측면에서 어떻게 다를까?
• RQ3 의료 영상 분할에서 전이 학습과 결합된 데이터셋 크기와 데이터 증강의 영향은 무엇인가?
• RQ4 왜 X-Unet은 V-Unet보다 낮은 DICE 스코어를 기록함에도 더 아티팩트 없는 예측을 생성하는가?
• RQ5 낮은 데이터 환경에서 의료 전용 사전 훈련 모델보다 비의료 영역 사전 훈련 모델이 성능을 뛰어넘을 수 있는가?

주요 결과

• X-Unet은 낮은 DICE 스코어에도 불구하고 V-Unet보다 더 정확하고 아티팩트 없는 시각적 마스크를 생성했다.
• 부분 동결 피니팅 전략이 일부 레이어만 동결하는 것보다 略적으로 더 뛰어난 성능을 보였으며, 더 넓은 피니팅 범위의 이점이 있음을 시사했다.
• V-Unet은 X-Unet보다 더 높은 DICE 계수를 기록했지만, 아티팩트 증가로 인해 시각적 품질이 열 劣화되었다.
• 전이 학습과 데이터 증강의 조합은 특히 제한된 훈련 데이터에서 모델 성능을 크게 향상시켰다.
• 이 맥락에서 ImageNet 기반 사전 훈련보다 자연 주목 객체 데이터셋 기반 사전 훈련이 더 나은 일반화 능력과 시각적 정확도를 제공했다.
• 본 연구는 효과적인 피니팅과 데이터 증강을 결합할 경우 비의료 영역 사전 훈련이 의료 전용 사전 훈련과 경쟁 가능함을 입증했다.