[논문 리뷰] Neural Style Transfer Improves 3D Cardiovascular MR Image Segmentation on Inconsistent Data

Chunwei Ma, Zhanghexuan Ji외 1명|arXiv (Cornell University)|2019. 09. 20.

Advanced Neural Network Applications참고 문헌 12인용 수 7

한 줄 요약

이 논문은 비일관된 테스트 데이터의 외관을 레이블이 붙은 훈련 데이터와 일치시키기 위해 신경망 스타일 전이를 활용하는 새로운 3D 심장혈관 MR 영상 분할 프레임워크인 StyleSegor를 제안한다. 이는 분할의 강인성을 크게 향상시킨다. 훈련 이미지의 스타일을 테스트 이미지로 전이하고, 다수의 예측치를 앙상블 학습하여 HVSMR 2016 벤치마크에서 전체 점수를 29.91% 향상시켰으며, 최신 기술을 능가한다.

ABSTRACT

Three-dimensional medical image segmentation is one of the most important problems in medical image analysis and plays a key role in downstream diagnosis and treatment. Recent years, deep neural networks have made groundbreaking success in medical image segmentation problem. However, due to the high variance in instrumental parameters, experimental protocols, and subject appearances, the generalization of deep learning models is often hindered by the inconsistency in medical images generated by different machines and hospitals. In this work, we present StyleSegor, an efficient and easy-to-use strategy to alleviate this inconsistency issue. Specifically, neural style transfer algorithm is applied to unlabeled data in order to minimize the differences in image properties including brightness, contrast, texture, etc. between the labeled and unlabeled data. We also apply probabilistic adjustment on the network output and integrate multiple predictions through ensemble learning. On a publicly available whole heart segmentation benchmarking dataset from MICCAI HVSMR 2016 challenge, we have demonstrated an elevated dice accuracy surpassing current state-of-the-art method and notably, an improvement of the total score by 29.91\%. StyleSegor is thus corroborated to be an accurate tool for 3D whole heart segmentation especially on highly inconsistent data, and is available at https://github.com/horsepurve/StyleSegor.

연구 동기 및 목표

• 다른 스캐너와 기관에서 발생하는 영상 외관의 불일치로 인해 발생하는 3D 심장혈관 MR 영상 분할의 도메인 섬리프 문제를 해결하기 위해.
• 다양한 밝기, 대비, 질감을 가지는 저품질 또는 도메인 외부 데이터에 대해 딥 러닝 모델의 일반화 성능을 향상시키기 위해.
• 추가 애너테이션이나 복잡한 도메인 적응 모듈이 필요 없이 효율적이고 즉시 사용 가능한 방법을 개발하기 위해.
• 신경망 스타일 전이를 통한 외관 정규화가 특히 심장근막과 같은 미세한 구조의 분할 정확도를 크게 향상시킨다는 것을 입증하기 위해.

제안 방법

• 다양한 척도의 특징와 세부 정보를 유지하기 위해, 아트로우스 컨volution 신경망에 아트로우스 공간 풀링(ASPP)을 적용한 분할 백본을 사용한다.
• 내용 손실과 스타일 손실을 사용하여, 레이블이 붙은 훈련 이미지의 스타일을 그대로 전이함으로써, 레이블이 없는 테스트 슬라이스에 스타일 전이를 직접 적용한다.
• 스타일 전이 과정은 훈련 데이터와 테스트 데이터 간의 강도 분포, 밝기, 대비, 질감을 일치시켜 도메인 섬리프를 감소시킨다.
• 분류 신뢰도를 향상시키고 임의의 양성 결과를 줄이기 위해 네트워크 출력에 확률 조정을 적용한다.
• 원본 이미지와 스타일 전이된 이미지에서 유도된 다수의 예측치를 투표 기반 앙상블 학습을 통해 융합하여 강인성을 향상시킨다.
• axial, sagittal, coronal 평면 각각에 대해 별도의 모델을 훈련하고, 최종 분할 결과를 위해 예측치를 융합한다.

실험 결과

연구 질문

• RQ1 훈련 데이터와 테스트 데이터의 외관이 불일치할 경우, 신경망 스타일 전이가 3D 심장혈관 MR 영상 분할에서 도메인 섬리프를 효과적으로 줄일 수 있는가?
• RQ2 테스트 이미지의 스타일을 훈련 데이터와 일치시키는 것이, 특히 저대비 또는 노이즈가 많은 스캔에서 분할 성능을 향상시키는가?
• RQ3 원본 이미지와 스타일 전이된 이미지의 예측치를 앙상블 학습하여 분할 정확도를 더욱 향상시키고, 임의의 양성 결과를 줄일 수 있는가?
• RQ4 비일관된 의료 영상 데이터에서, 스타일 전이를 통한 외관 정규화가 전통적인 데이터 증강 기법이나 도메인 적응 기법보다 얼마나 뛰어난가?

주요 결과

• StyleSegor는 심장근막 분할에서 0.839의 DICE 스코어, 혈관공 분할에서 0.937의 DICE 스코어를 기록하여 이전 최고 기술을 초월했다.
• HVSMR 2016 벤치마크에서 전체 점수는 이전 최고 성능 대비 29.91% 향상되어 0.304에 도달했다.
• 심장근막 분할의 하우스도르프 거리는 2.832 mm로 감소하여, 앙상블 학습 이후 경계 정렬이 향상됨을 나타냈다.
• 스타일 전이가 테스트 이미지의 강도 분포를 성공적으로 재정렬하여, 심장근막 신호가 배경과 더 명확히 구분됨을 확인했다.
• 원본 이미지와 스타일 전이된 이미지의 예측치 앙상블은 가짜 양성 결과를 줄이고 강인성을 향상시켰으며, 특히 저품질 스캔에서 두드러진 효과를 보였다.
• 2D 컨volution 신경망 백본을 사용하더라도, 확률 조정과 스타일 전이를 거친 후 경쟁적인 성능를 달성하여, 외관 정규화의 효과를 입증했다.