[論文レビュー] Repetitive Motion Estimation Network: Recover cardiac and respiratory signal from thoracic imaging

Xiaoxiao Li, Vivek Kumar Singh+4 more|arXiv (Cornell University)|Nov 8, 2018

Advanced MRI Techniques and Applications参考文献 5被引用数 3

ひとこと要約

本論文では、胸郭フラuroscopy動画から心拍および呼吸信号を回復するための深層学習モデルである繰り返し運動推定ネットワーク（RMEN）を提案する。部分的な位相境界のアノテーションのみを用いて、空間的・時間的反復パターンを学習し、それらを1次元運動多様体に埋め込むことで、ベースラインモデルと比較してQRSピーク検出のオフセットを59.3%削減した。これにより、不規則な運動状態でも周波数フィルタリングを用いた正確な信号分解が可能になった。

ABSTRACT

Tracking organ motion is important in image-guided interventions, but motion annotations are not always easily available. Thus, we propose Repetitive Motion Estimation Network (RMEN) to recover cardiac and respiratory signals. It learns the spatio-temporal repetition patterns, embedding high dimensional motion manifolds to 1D vectors with partial motion phase boundary annotations. Compared with the best alternative models, our proposed RMEN significantly decreased the QRS peaks detection offsets by 59.3%. Results showed that RMEN could handle the irregular cardiac and respiratory motion cases. Repetitive motion patterns learned by RMEN were visualized and indicated in the feature maps.

研究の動機と目的

• 完全な運動アノテーションがなくても、胸郭フラuroscopy画像から心拍および呼吸運動信号を回復すること。
• 臓器運動における空間的・時間的反復パターンを学習し、運動多様体に埋め込むこと。
• 1次元の埋め込みによって運動パターンを表現した後、周波数フィルタリングを用いた正確な信号分解を可能にすること。
• スキップされたサイクルや呼吸保持などの不規則な運動状況でも、運動位相境界の検出精度を向上させること。
• 外部モニターやインプラントマーカーを用いずに画像誘導手術のための運動推定ソリューションを提供すること。

提案手法

• モデルは、ビデオフレームからの空間特徴を抽出するために2次元畳み込みエンコーダとマックスプーリングを用いる。
• 2層のスタックドConvLSTMが、符号化された時系列を処理し、運動ダイナミクスをモデル化する。
• 3次元畳み込み層が、チャネル間の特徴を統合して時間的文脈を統合する。
• ドロップアウト（0.5）を適用した全結合層が、フラット化された特徴から予測された運動位相を回帰し、平均二乗誤差損失を用いる。
• 複数回の順伝播による中央値予測を用いて、分散を低減した1次元位相曲線を出力する。
• 心拍と呼吸信号は、生理的周波数帯域（それぞれ0.5–2 Hz および 0.2–0.33 Hz）に基づくゼロ位相シフトバンドパスおよびローパスフィルタを用いて分離される。

実験結果

リサーチクエスチョン

• RQ1 部分的な位相境界アノテーションのみを用いて、深層学習モデルがフラuroscopy動画から心拍および呼吸運動信号を回復できるか？
• RQ2 モデルは反復的運動多様体を学習し、1次元信号に埋め込むことができるか？
• RQ3 提案されたRMENモデルは、LSTM、SVR、密度ベース手法などの代替手法と比較して、QRSピーク検出の精度でどのように優れているか？
• RQ4 スキップされた心拍サイクルや呼吸保持などの不規則な運動パターンに対応できるか？
• RQ5 モデルが学習する空間的・時間的パターンは何か？そして、解釈可能な臓器運動の側面と整合しているか？

主な発見

• RMENは、最良の代替モデルと比較してQRSピーク検出のオフセットを59.3%削減し、テストセットでは0.88フレームのオフセットを達成した。
• モデルはテストセットで真陰性数が3、誤検出数が27であった。これはPCA+LSTM（9と72）およびPCA+SVR（5と80）を上回る性能であった。
• 無教師学習手法のDensityFlowは、最も高いオフセット（3.7フレーム）と誤検出率（96）を示し、性能が著しく劣っていた。
• Conv3D層からの可視化された特徴マップは、心拍（冠動脈）および呼吸（横隔膜）運動に対応する明確な反復パターンを示していた。
• 不規則な運動状態でも、1次元埋め込み後の周波数フィルタリングを用いて、心拍と呼吸信号の正確な分解に成功した。
• ECGモニターやインプラントマーカーを必要とせず、動的冠動脈レイトマッピングなどの応用を支援する運動信号回復が可能になった。