[논문 리뷰] VoxelAtlasGAN: 3D Left Ventricle Segmentation on Echocardiography with Atlas Guided Generation and Voxel-to-voxel Discrimination

Suyu Dong, Gongning Luo외 6명|arXiv (Cornell University)|2018. 06. 10.

Advanced Neural Network Applications참고 문헌 16인용 수 7

한 줄 요약

이 논문은 볼륨 단위 일致성 제약와 앤트라스 기반 생성을 갖춘 볼륨 간 조건부 생성 적대 신경망(cGAN)을 사용하여 3D 에코카디오그래피를 위한 새로운 3D 좌심실 분할 프레임워크인 VoxelAtlasGAN을 제안한다. 3D 좌심실 앤트라스를 사전 지식으로 통합하고, 높은 정확도(Dice = 0.953)와 실시간 추론(1볼륨당 0.1초)을 달성하여 3D 에코카디오그래피 분할 분야에서 높은 임상 잠재력을 보여준다.

ABSTRACT

3D left ventricle (LV) segmentation on echocardiography is very important for diagnosis and treatment of cardiac disease. It is not only because of that echocardiography is a real-time imaging technology and widespread in clinical application, but also because of that LV segmentation on 3D echocardiography can provide more full volume information of heart than LV segmentation on 2D echocardiography. However, 3D LV segmentation on echocardiography is still an open and challenging task owing to the lower contrast, higher noise and data dimensionality, limited annotation of 3D echocardiography. In this paper, we proposed a novel real-time framework, i.e., VoxelAtlasGAN, for 3D LV segmentation on 3D echocardiography. This framework has three contributions: 1) It is based on voxel-to-voxel conditional generative adversarial nets (cGAN). For the first time, cGAN is used for 3D LV segmentation on echocardiography. And cGAN advantageously fuses substantial 3D spatial context information from 3D echocardiography by self-learning structured loss; 2) For the first time, it embeds the atlas into an end-to-end optimization framework, which uses 3D LV atlas as a powerful prior knowledge to improve the inference speed, address the lower contrast and the limited annotation problems of 3D echocardiography; 3) It combines traditional discrimination loss and the new proposed consistent constraint, which further improves the generalization of the proposed framework. VoxelAtlasGAN was validated on 60 subjects on 3D echocardiography and it achieved satisfactory segmentation results and high inference speed. The mean surface distance is 1.85 mm, the mean hausdorff surface distance is 7.26 mm, mean dice is 0.953, the correlation of EF is 0.918, and the mean inference speed is 0.1s. These results have demonstrated that our proposed method has great potential for clinical application

연구 동기 및 목표

• 낮은 대trast, 높은 노이즈, 제한된 애너테이션으로 인해 정확한 좌심실 분할이 어려운 3D 에코카디오그래피 문제를 해결하기 위해.
• 딥 러닝 프레임워크에 3D 좌심실 앤트라스를 사전 지식으로 통합하여 분할 정확도와 추론 속도를 향상시키기 위해.
• 기존의 적대적 손실에 더하여 정규화된 상호정보 기반의 새로운 볼륨 일치성 제약를 조합하여 모델 일반화 능력을 향상시키기 위해.
• 임상 적용에 적합한 고정밀 3D LV 분할을 가능하게 하는 실시간, 엔드 투 엔드 프레임워크를 개발하기 위해.

제안 방법

• 3D 공간적 맥락을 모델링하고 정밀한 분할 맵을 생성하기 위해 볼륨 간 조건부 생성 적대 신경망(cGAN)을 사용한다.
• 분할 지도 및 추론 속도 향상을 위해 생성기 내부에 3D 좌심실 앤트라스를 사전 지식으로 통합한다.
• 입력 및 생성된 볼륨 간의 구조적 유사성을 강제하기 위해 정규화된 상호정보를 사용하여 새로운 볼륨 일치성 제약를 도입한다.
• 표준 적대적 분류 손실과 볼륨 일치성 제약를 결합한 손실 함수를 사용하여 현실성과 해부학적 정확성을 동시에 최적화한다.
• 학습률 0.0002와 모멘텀 0.5를 사용한 확률적 경사 하강법을 통해 네트워크를 엔드 투 엔드로 학습시킨다.
• 추론은 오직 생성기만을 사용하여 단일 GPU에서 1볼륨당 0.1초의 실시간 성능를 달성한다.

실험 결과

연구 질문

• RQ1 볼륨 간 cGAN 프레임워크는 저대trast, 노이즈가 많은 3D 에코카디오그래피에서 고정밀 3D 좌심실 분할을 달성할 수 있는가?
• RQ2 3D 좌심실 앤트라스를 사전 지식으로 통합하는 것이 분할 정확도와 추론 속도 향상에 얼마나 효과적인가?
• RQ3 제안된 볼륨 일치성 제약는 기존의 적대적 학습에 비해 모델 일반화 능력을 향상시키는가?
• RQ4 프레임워크는 임상용 3D 에코카디오그래피 데이터에서 고정밀 분할 정확도를 유지하면서도 실시간 추론을 달성할 수 있는가?

주요 결과

• 제안된 VoxelAtlasGAN은 60명의 환자에서 평균 DICE 계수 0.953을 달성하여 높은 분할 정확도를 보였다.
• 평균 표면 거리는 1.85 mm였고, 평균 하우스도르프 표면 거리는 7.26 mm였으며, 이는 정밀한 경계 국소화를 나타낸다.
• 분할 결과와 실제값 간의 심장 출력 계수(EF) 값 간 상관계수는 0.918로 강한 임상 일致성을 보여주었다.
• 프레임워크는 1볼륨당 0.1초의 추론 속도를 달성하여 실시간 임상 적용이 가능했다.
• 절단 실험 결과, 앤트라스 사전 지식과 볼륨 일치성 제약 모두 분할 성능 향상에 기여하는 것으로 확인되었다.
• 앤트라스나 일치성 제약 없이도 볼륨 간 cGAN은 3D U-Net 기준 모델보다 우수한 성능를 보여, 내재된 강건성을 입증했다.