[논문 리뷰] Repetitive Motion Estimation Network: Recover cardiac and respiratory signal from thoracic imaging

Xiaoxiao Li, Vivek Kumar Singh외 4명|arXiv (Cornell University)|2018. 11. 08.

Advanced MRI Techniques and Applications참고 문헌 5인용 수 3

한 줄 요약

이 논문은 흉부 프luoroscopic 영상에서 부분적인 단계 경계(annotation)만을 사용하여 심장 및 호흡 신호를 복원하는 딥러닝 모델인 반복 운동 추정 네트워크(RMEN)를 제안한다. 시공간 반복 패턴을 학습하고 이를 1차원 운동 다각형에 통합함으로써, 기준 모델 대비 QRS 피크 검출 오차를 59.3% 감소시켜 불규칙한 운동 상황에서도 주파수 필터링을 통한 정확한 신호 분해를 가능하게 한다.

ABSTRACT

Tracking organ motion is important in image-guided interventions, but motion annotations are not always easily available. Thus, we propose Repetitive Motion Estimation Network (RMEN) to recover cardiac and respiratory signals. It learns the spatio-temporal repetition patterns, embedding high dimensional motion manifolds to 1D vectors with partial motion phase boundary annotations. Compared with the best alternative models, our proposed RMEN significantly decreased the QRS peaks detection offsets by 59.3%. Results showed that RMEN could handle the irregular cardiac and respiratory motion cases. Repetitive motion patterns learned by RMEN were visualized and indicated in the feature maps.

연구 동기 및 목표

• 완전한 운동 annotation 없이도 흉부 프luoroscopic 영상에서 심장 및 호흡 운동 신호를 복원하는 것.
• 장기 운동에서의 시공간 반복 패턴을 학습하여 운동 다각형에 통합하는 것.
• 1차원으로 통합된 운동 패턴 이후 주파수 필터링을 통한 정확한 신호 분해를 가능하게 하는 것.
• 스킵된 사이클이나 호흡 정지와 같은 불규칙한 운동 상황에서의 운동 단계 경계 검출 정확도를 향상시키는 것.
• 외부 모니터나 이식된 마커 없이도 영상 유도 수술에 활용 가능한 솔루션을 제공하는 것.

제안 방법

• 영상 프레임에서 공간적 특징을 추출하기 위해 최대 풀링을 적용한 2D-컨volutional 인코더를 사용한다.
• 스택된 두 층의 ConvLSTM이 인코딩된 시간적 시퀀스를 처리하여 운동 역학을 모델링한다.
• 채널 간 특징을 융합하여 시간적 맥락 통합을 위한 3D 컨볼루션 레이어를 사용한다.
• 완전 연결된 레이어와 드롭아웃(0.5)을 통해 평균 제곱오차 손실을 사용하여 예측된 운동 단계를 회귀한다.
• 다중 전방 계산을 통해 중앙값 예측을 사용하여 1차원 단계 곡선을 출력함으로써 분산을 감소시킨다.
• 심장 및 호흡 신호는 생리적 주파수 범위(각각 0.5–2 Hz 및 0.2–0.33 Hz)에 기반한 제로단계 이동 대역통과 및 저역통과 필터를 사용하여 분리한다.

실험 결과

연구 질문

• RQ1 부분적인 단계 경계 annotation만을 사용하여 딥러닝 모델이 프luoroscopic 영상에서 심장 및 호흡 운동 신호를 복원할 수 있는가?
• RQ2 모델이 반복적인 운동 다각형을 학습하고 1차원 신호에 통합하여 후속 신호 분해를 가능하게 할 수 있는가?
• RQ3 QRS 피크 검출에서 제안된 RMEN 모델이 LSTM, SVR 및 밀도 기반 접근법과 비교해 정확도가 높은가?
• RQ4 모델은 스킵된 심장 사이클이나 호흡 정지와 같은 불규칙한 운동 패턴을 처리할 수 있는가?
• RQ5 모델이 학습하는 시공간 패턴은 해부학적 운동 측면에서 해석 가능한가?

주요 결과

• RMEN은 최고의 대안 모델 대비 QRS 피크 검출 오차를 59.3% 감소시켰으며, 테스트 세트에서 오차는 0.88 프레임이었다.
• 모델은 테스트 세트에서 진성 음성률이 3이고 가짜 양성률이 27이었으며, PCA+LSTM(9 및 72)과 PCA+SVR(5 및 80)를 모두 초월했다.
• 비지도 학습 방법인 DensityFlow는 가장 높은 오차(3.7 프레임)와 가짜 양성률(96)을 기록하여 열등한 성능을 보였다.
• Conv3D 레이어의 시각화된 특징 맵은 심장( coronar y) 및 호흡( diaphragm) 운동에 해당하는 명확한 반복 패턴을 보였다.
• 불규칙한 운동 상황에서도 1차원 통합 이후 주파수 필터링을 통해 심장 및 호흡 신호를 성공적으로 분리하였다.
• ECG 모니터나 이식된 마커 없이도 운동 신호를 복원할 수 있어 동적 관류로드맵핑 등의 적용에 기여한다.