[논문 리뷰] Neural Multi-Scale Self-Supervised Registration for Echocardiogram Dense Tracking

Wentao Zhu, Yufang Huang외 6명|arXiv (Cornell University)|2019. 06. 18.

Advanced MRI Techniques and Applications참고 문헌 19인용 수 5

한 줄 요약

이 논문은 초음파 심장초음파 영상에서 심장근육 운동과 심장 혈류의 고밀도 추적을 향상시키기 위해 다중 척도 자기지도 학습 기반 신경망(NMSR)을 제안한다. NMSR은 U-Net을 사용해 연속된 심장초음파 영상 간의 속도장을 매개변수화하고, 다중 척도 자기지도 학습 최적화를 통해 이를 개선한다. 이로 인해 기존 ANTs 대비 20배 빠른 추론 속도와 더불어 노이즈 및 큰 속도 변화에 대한 뛰어난 강인성과 최신 기술 수준의 정확도를 확보한다.

ABSTRACT

Echocardiography has become routinely used in the diagnosis of cardiomyopathy and abnormal cardiac blood flow. However, manually measuring myocardial motion and cardiac blood flow from echocardiogram is time-consuming and error-prone. Computer algorithms that can automatically track and quantify myocardial motion and cardiac blood flow are highly sought after, but have not been very successful due to noise and high variability of echocardiography. In this work, we propose a neural multi-scale self-supervised registration (NMSR) method for automated myocardial and cardiac blood flow dense tracking. NMSR incorporates two novel components: 1) utilizing a deep neural net to parameterize the velocity field between two image frames, and 2) optimizing the parameters of the neural net in a sequential multi-scale fashion to account for large variations within the velocity field. Experiments demonstrate that NMSR yields significantly better registration accuracy than state-of-the-art methods, such as advanced normalization tools (ANTs) and VoxelMorph, for both myocardial and cardiac blood flow dense tracking. Our approach promises to provide a fully automated method for fast and accurate analyses of echocardiograms.

연구 동기 및 목표

• 심장초음파 영상에서 심장근육 운동과 심장 혈류를 수동 측정하는 데서 발생하는 정확도 낮고 느린 문제를 해결한다.
• 초음파 영상에서 노이즈, 큰 속도 변화, 지도 데이터 부재 등의 문제로 인해 기존의 정규화 방법이 유용하지 않은 점을 극복한다.
• 심장근육 변형과 심장 혈류의 둘 다에 대해 고밀도 추적을 위한 완전 자동화된 종단간(end-to-end) 프레임워크를 개발한다.
• 학습과 추론 간 도메인 갭을 줄이기 위해 자기지도 최적화를 통합하여, 미리 보지 않은 데이터에 대한 일반화 능력을 향상시킨다.
• 저부터 고까지의 다중 척도 최적화 전략을 통해 복잡한 혈역학 패턴(예: 소용돌이)을 더 잘 포착할 수 있도록 정규화 정확도와 강인성을 향상시킨다.

제안 방법

• 스킵 연결을 갖춘 U-Net을 사용해 연속된 심장초음파 영상 간의 속도장을 매개변수화하여 변형장의 종단간 학습을 가능하게 한다.
• 가장 거친 척도에서 시작하여 가장 세밀한 척도로 향하는 다중 척도 최적화 전략을 구현하여, 속도장 추정치를 단계적으로 개선하고 최적화 난이도를 낮춘다.
• 지도 없는 정규화 필드가 필요 없이도 네트워크 파라미터를 최적화하기 위해 재구성 손실과 부드러움 손실을 활용한 자기지도 학습을 적용한다.
• 예측된 속도장을 기반으로 영상을 왜곡하는 공간 변환 네트워크를 사용하여 손실 계산을 위한 미분 가능한 영상 재구성 가능성을 확보한다.
• 각 척도가 이전 척도의 출력을 입력으로 사용하는 계층적 다중 척도 프레임워크를 통해, 초기화와 안정성을 향상시킨다.
• 특정 데이터가 적은 환경에서도 수렴성과 성능을 향상시키기 위해 사전 학습된 모델을 초기화로 활용한다.

실험 결과

연구 질문

• RQ1 노이즈가 많고 변동성이 큰 초음파 데이터를 고려할 때, 기존의 전통적 및 지도 학습 기반 정규화 방법보다 자기지도 딥러닝 프레임워크가 심장초음파 영상의 고밀도 추적에서 뛰어난 성능을 보일 수 있는가?
• RQ2 다중 척도 최적화 전략은 큰 운동 변화가 있는 심장초음파 영상에서 속도장 추정의 정확도와 안정성에 어떻게 기여하는가?
• RQ3 자기지도 최적화 전략은 학습과 추론 간 도메인 갭을 어느 정도 줄여주며, 실제 심장초음파 영상 시퀀스에서 일반화 능력을 향상시키는가?
• RQ4 제안된 방법은 대조 강화 심장초음파 영상에서 심실 혈류 소용돌이와 같은 복잡한 혈역학 패턴을 신뢰성 있게 탐지할 수 있는가?
• RQ5 저부터 고까지의 다중 척도 학습 통합은 단일 척도 접근 방식에 비해 속도장 추정 품질에 어떤 영향을 미치는가?

주요 결과

• NMSR은 평가된 모든 방법 중에서 가장 뛰어난 성능을 보였으며, 심장근육 및 혈류 추적 작업에서 MSE와 CC 모두 ANTs 및 VoxelMorph를 능가했다.
• NMSR은 NMSR V 및 NMSR VI보다 뛰어난 정확도를 확보했으며, 재구성 손실에 대한 과적합을 줄이는 데서 비롯된 순차적 다중 척도 최적화의 유용성을 입증했다.
• 자기지도 최적화 전략은 학습과 추론 간 추정 갭을 크게 줄여, 더 강인하고 일반화 능력이 뛰어난 속도장 예측을 가능하게 했다.
• NMSR은 심장 혈류의 소용돌이 패턴을 성공적으로 탐지하고 유지했으며, 노이즈와 부적절한 정규화로 인해 ANTs 및 VoxelMorph에서 자주 간과되거나 흐릿하게 나타나는 패턴을 잘 포착했다.
• NMSR은 ANTs 대비 20배의 속도 향상을 달성했으며, 단일 GPU에서 49프레임의 초음파 시퀀스에 대해 총 추론 시간이 9분 미만이었고, ANTs의 약 3시간 대비 빠른 성능을 보였다.
• 사전 학습된 모델을 초기화로 사용할 경우 성능 향상이 추가로 이루어졌으며, NMSR VI는 NMSR V를 능가하는 성능을 보여, 이 분야에서 전이 학습의 가치를 확인했다.