[논문 리뷰] Motion Pyramid Networks for Accurate and Efficient Cardiac Motion Estimation

Hanchao Yu, Xiaohong Chen외 4명|arXiv (Cornell University)|2020. 06. 28.

Advanced MRI Techniques and Applications참고 문헌 28인용 수 5

한 줄 요약

이 논문은 심장 MRI에서 정확하고 효율적인 심장 운동 추정을 위한 딥러닝 프레임워크인 모션 피라미드 네트워크(MPN)를 제안한다. 다중 척도 운동장의 융합과 점진적 운동 보정을 통한 순환적 트레이너-스터디언 지식 정제 전략을 적용함으로써, MPN는 1 프레임당 26ms의 추론 시간으로 기존 기준 모델 및 탈형 변형 정렬보다 뛰어난 최신 기술 성능(SOTA)을 달성한다.

ABSTRACT

Cardiac motion estimation plays a key role in MRI cardiac feature tracking and function assessment such as myocardium strain. In this paper, we propose Motion Pyramid Networks, a novel deep learning-based approach for accurate and efficient cardiac motion estimation. We predict and fuse a pyramid of motion fields from multiple scales of feature representations to generate a more refined motion field. We then use a novel cyclic teacher-student training strategy to make the inference end-to-end and further improve the tracking performance. Our teacher model provides more accurate motion estimation as supervision through progressive motion compensations. Our student model learns from the teacher model to estimate motion in a single step while maintaining accuracy. The teacher-student knowledge distillation is performed in a cyclic way for a further performance boost. Our proposed method outperforms a strong baseline model on two public available clinical datasets significantly, evaluated by a variety of metrics and the inference time. New evaluation metrics are also proposed to represent errors in a clinically meaningful manner.

연구 동기 및 목표

• 심장 씨네 MRI에서 정확하고 효율적인 심장 운동 추정의 과제를 해결함으로써, 심내막 혈류율과 같은 임상 기능 평가에 기여하고자 한다.
• 비지도 딥러닝 기반 운동 추정에서 부드러움 제약 조건과 유일하지 않은 해를 가지는 한계를 극복하고자 한다.
• 지식 정제를 통해 단일 스텝 운동 추정을 가능하게 함으로써 정확도를 유지하면서 추론 효율성을 향상시키고자 한다.
• 심장 운동 추정 평가에 더 잘 부합하기 위해 반경방향 및 원형 방향으로 오차를 분해하는 임상적으로 의미 있는 평가 지표를 개발하고자 한다.

제안 방법

• 공유 인코더로부터 생성된 다중 척도 특징 피라미드를 사용하여 다양한 해상도에서 운동장을 생성하고, 이를 융합하여 정밀화된 운동장을 도출한다.
• 선생 모델에 점진적 운동 보정 전략을 적용하여, 큰 이동을 다루고 부드러움 제약 조건에 대한 의존도를 줄인다.
• 순환적 트레이너-스터디언 정제 프레임워크를 도입하여, 학생 모델이 선생 모델의 다중 스텝 정밀화를 모방함으로써 단일 스텝 내에서 정확한 운동을 예측하도록 한다.
• 학생 모델는 선생 모델의 출력을 지도로 사용하여 엔드 투 엔드 학습이 가능하게 하며, 정확도를 유지하면서도 더 빠른 추론을 실현한다.
• 새로운 운동 피라미드 아키텍처는 특징 수준 융합 이전에 각 척도에서 별도로 운동을 예측하며, 자동재귀적 피라미드 접근 방식과 다르다.
• 이 프레임워크는 일반화 능력이 뛰어나 ApparentFlow 모델에 적용되었으며, 다양한 네트워크 아키텍처에서의 효과성을 입증하였다.

실험 결과

연구 질문

• RQ1 다중 척도 운동장 융합이 씨네 MRI에서 심장 운동 추정의 정확도와 견고성 향상에 기여할 수 있는가?
• RQ2 지식 정제를 어떻게 활용하여 반복적 운동 보정의 성능을 유지하면서 추론 속도를 가속화할 수 있는가?
• RQ3 점진적 정밀화를 통한 순환 학습 전략이 표준 정제 전략을 초월해 운동 추정 정확도를 향상시킬 수 있는가?
• RQ4 2D 심장 추적에서 반경방향과 원형 운동 오차는 어떻게 다를 수 있으며, 오차 분해가 임상적 관련성을 향상시킬 수 있는가?
• RQ5 제안된 방법이 다양한 딥러닝 아키텍처에 대해 얼마나 일반화 가능한가?

주요 결과

• MPN는 두 개의 공개 데이터셋에서 강력한 단일 척도 기준 모델과 전통적인 탈형 변형 정렬 방법보다 우수한 성능을 보였으며, 종단 오차는 낮아지고 Dice 점수는 향상되었다.
• 순환 지식 정제 전략(MPN-C)이 가장 높은 성능을 기록했으며, ACDC 데이터셋의 MYO 구조에서 0.841의 Dice 점수를 기록하여 기준 ApparentFlow 모델를 초월했다.
• 제안된 방법은 추론 시간을 1 프레임당 26ms로 줄였고, FFD 기반 정렬 대비 748ms에서 크게 향상되어 뚜렷한 효율성 향상을 보였다.
• 오차 분해 분석 결과 반경방향 추적은 원형 추적보다 더 정확한 것으로 나타났으며, 이는 2D에서 원형 심장 근육 경로 추적의 어려움을 반영한다.
• 다른 모델에 대해서도 일반화 능력이 뛰어났으며, ApparentFlow에 순환 정제와 점진적 보정을 적용함으로써 성능 향상이 확인되었다.
• 새로운 평가 지표인 오차 분해와 핵심점 추적 오차는 표준 지표를 넘어서 임상적으로 의미 있는 운동 추정 정확도의 통찰을 제공하였다.