[논문 리뷰] Region-based Convolution Neural Network Approach for Accurate Segmentation of Pelvic Radiograph

Ata Jodeiri, Reza A. Zoroofi외 5명|arXiv (Cornell University)|2019. 10. 29.

Medical Imaging and Analysis참고 문헌 21인용 수 4

한 줄 요약

이 논문은 이미지넷에서의 전이 학습과 데이터 증강을 활용하여 난이도 높은 해부학적 변형에 대응하는 흉부 뼈의 정확한 분할을 위한 마스크 R-CNN 기반의 다중 작업 학습 프레임워크를 제안한다. 동일한 훈련 조건에서 U-Net보다 유의하게 뛰어난 성능을 보이며, 0.96의 DICE 계수를 달성한다.

ABSTRACT

With the increasing usage of radiograph images as a most common medical imaging system for diagnosis, treatment planning, and clinical studies, it is increasingly becoming a vital factor to use machine learning-based systems to provide reliable information for surgical pre-planning. Segmentation of pelvic bone in radiograph images is a critical preprocessing step for some applications such as automatic pose estimation and disease detection. However, the encoder-decoder style network known as U-Net has demonstrated limited results due to the challenging complexity of the pelvic shapes, especially in severe patients. In this paper, we propose a novel multi-task segmentation method based on Mask R-CNN architecture. For training, the network weights were initialized by large non-medical dataset and fine-tuned with radiograph images. Furthermore, in the training process, augmented data was generated to improve network performance. Our experiments show that Mask R-CNN utilizing multi-task learning, transfer learning, and data augmentation techniques achieve 0.96 DICE coefficient, which significantly outperforms the U-Net. Notably, for a fair comparison, the same transfer learning and data augmentation techniques have been used for U-net training.

연구 동기 및 목표

• 심한 해부학적 기형을 보이는 환자에서 흉부 뼈의 정확한 분할 문제를 해결하기 위해.
• 복잡한 흉부 형태와 저대비 구조를 다루는 데에서 U-Net의 한계를 극복하기 위해.
• 다양한 흉부 형태에 잘 일반화되는 강력한 딥 러닝 기반 분할 프레임워크를 개발하기 위해.
• 전이 학습과 데이터 증강이 의료 영상 분할 성능에 미치는 영향을 평가하기 위해.

제안 방법

• 흉부 뼈의 인스턴스 분할을 위해 영역 기반 컨볼루션 신경망(Mask R-CNN) 아키텍처를 채택한다.
• 전이 학습을 가능하게 하기 위해 사전 훈련된 ImageNet 모델을 사용해 네트워크 가중치를 초기화한다.
• 의료 영상 특성에 맞게 흉부 레이저 영상 데이터셋에서 모델을 미세조정한다.
• 훈련 중에 데이터 증강 기법을 적용하여 모델의 강건성과 일반화 능력을 향상시킨다.
• 박스 검출과 마스크 예측을 동시에 최적화하기 위해 다중 작업 학습을 활용한다.
• 분할 정확도를 측정하기 위해 DICE 계수를 포함한 표준 평가 지표를 사용한다.

실험 결과

연구 질문

• RQ1 Mask R-CNN과 같은 영역 기반 CNN이 흉부 레이저 영상에서 U-Net보다 뛰어난 흉부 뼈 분할 정확도를 달성할 수 있는가?
• RQ2 대규모 비의료 데이터셋에서의 전이 학습이 제한된 의료 영상 데이터에서 분할 성능을 어떻게 향상시키는가?
• RQ3 데이터 증강 기법이 복잡한 흉부 형태에서 모델의 일반화 능력을 어느 정도 향상시키는가?
• RQ4 Mask R-CNN에서의 다중 작업 학습이 단일 작업 기반 U-Net보다 더 강력하고 정확한 분할을 이끌어내는가?
• RQ5 동일한 훈련 프로토콜을 사용할 때, 제안된 기법들이 Mask R-CNN과 U-Net 양쪽에 동일하게 적용되었을 경우, 성능는 어떻게 비교되는가?

주요 결과

• 제안된 Mask R-CNN 방법은 동일한 훈련 조건에서 U-Net보다 뛰어난 성능을 보이며, DICE 계수 0.96을 달성했다.
• ImageNet에서의 전이 학습을 통해 모델 수렴 속도와 흉부 레이저 영상에서의 분할 정확도가 향상되었다.
• 데이터 증강 기법은 특히 심한 해부학적 기형을 보이는 어려운 케이스에서 모델의 강건성을 향상시켰다.
• Mask R-CNN에서의 다중 작업 학습은 검출과 분할을 동시에 최적화하여 국소화 정확도와 경계 정확도를 향상시켰다.
• 동일한 데이터 증강 및 전이 학습 프로토콜을 사용해 훈련했을 때, U-Net은 제안된 방법보다 낮은 DICE 점수를 기록했으며, 이는 영역 기반 접근의 우수성을 확인한다.