[論文レビュー] Spatiotemporal implicit neural representation for unsupervised dynamic MRI reconstruction

Jie Feng, Ruimin Feng+4 more|arXiv (Cornell University)|Dec 31, 2022

Advanced MRI Techniques and Applications被引用数 8

ひとこと要約

本稿では、高次に undersampled な k-space データからの動的MRI再構成のための教師なし時空間implicit neural representation (INR)を提案する。入力として時空間座標のみを用い、データ整合性と明示的な低ランク／スパarsity正則化を用いてINRを最適化する。本手法は最先端の性能を達成し、心拍映像データにおいて41.6×の加速条件下でPSNRを5.5–7.1 dB向上させ、内部的な連続性が強く保たれることで、追加の学習を伴わず高品質な時間的スーパーレゾリューションが可能である。

ABSTRACT

Supervised Deep-Learning (DL)-based reconstruction algorithms have shown state-of-the-art results for highly-undersampled dynamic Magnetic Resonance Imaging (MRI) reconstruction. However, the requirement of excessive high-quality ground-truth data hinders their applications due to the generalization problem. Recently, Implicit Neural Representation (INR) has appeared as a powerful DL-based tool for solving the inverse problem by characterizing the attributes of a signal as a continuous function of corresponding coordinates in an unsupervised manner. In this work, we proposed an INR-based method to improve dynamic MRI reconstruction from highly undersampled k-space data, which only takes spatiotemporal coordinates as inputs. Specifically, the proposed INR represents the dynamic MRI images as an implicit function and encodes them into neural networks. The weights of the network are learned from sparsely-acquired (k, t)-space data itself only, without external training datasets or prior images. Benefiting from the strong implicit continuity regularization of INR together with explicit regularization for low-rankness and sparsity, our proposed method outperforms the compared scan-specific methods at various acceleration factors. E.g., experiments on retrospective cardiac cine datasets show an improvement of 5.5 ~ 7.1 dB in PSNR for extremely high accelerations (up to 41.6-fold). The high-quality and inner continuity of the images provided by INR has great potential to further improve the spatiotemporal resolution of dynamic MRI, without the need of any training data.

研究の動機と目的

• 大規模で高品質な教師データセットに依存する教師あり深層学習の一般化性能の限界を解消すること。
• 特に教師データが入手不可能なDCE-MRIにおいて、データ不足と取得制約に起因する課題を克服すること。
• 外部データや事前学習モデルを必要とせず、高次に undersampled なk-spaceデータからの高品質な画像回復を実現する、トレーニングフリーの教師なし再構成手法を開発すること。
• 外部の事前知識や事前画像を用いずに、動的MRI系列における動きの正確性と時間的連続性を保持すること。
• 学習済みINR関数の内在的連続性を活用して、追加のトレーニングなしに、より高い時間サンプリングレートでの補間を可能とする時間的スーパーレゾリューションを実現すること。

提案手法

• 時空間座標 (k, t) から画像強度への連続的暗黙関数として動的MRIを表現する。多層パーセプトロン (MLP) を用いる。
• 入手した undersampled k-space データのみを用いてINRを学習し、微分可能損失関数を用いてデータ整合性を強制する。
• 時間的・空間的整合性を促進するため、低ランク構造（ノルム）とスパarsity（L1ノルム）の明示的正則化を組み込む。
• 勾配降下法を用いてINRパラメータを最適化し、外部の学習データや事前学習モデルの必要がない。
• ハッシュグリッドを用いた階層的特徴表現を導入し、トレーニング効率と表現品質を向上させる。
• 時間的スーパーレゾリューションを、最適化済みINRをより密な時間座標でクエリすることで実現し、追加のトレーニングなしに補間フレームを生成する。

実験結果

リサーチクエスチョン

• RQ1 外部の学習データや教師画像を一切用いずに、暗黙的ニューラル表現が高次に undersampled な動的MRI系列を再構成できるか？
• RQ2 極端な加速要因下でも、INRの内在的連続性が動きの正確性と時間的ダイナミクスをどれほど良好に保持できるか？
• RQ3 学習済みINRが元の取得レートを上回る時間的スーパーレゾリューションをどの程度可能にするか？
• RQ4 本手法は、圧縮センシング（CS）ベースおよび教師なし深層学習手法の最先端技術と比較して、再構成品質と頑健性においてどのように優れているか？
• RQ5 明示的な低ランクおよびスパarsity正則化が、INRベースの動的MRI再構成性能に及ぼす影響はいかほどか？

主な発見

• 本手法は、リトロスペクティブな心拍映像データセットにおいて41.6×の加速条件下で、ベースライン手法と比較してPSNRを5.5–7.1 dB向上させた。
• 本手法は、L+S や GRASP などの従来のCSベース手法よりもアーチファクト抑制と構造的保存性に優れ、とくに超高加速要因下で顕著であった。
• INRベースの再構成は強い内部連続性を示し、4倍のアップスケーリングを伴う高品質な時間的スーパーレゾリューションを可能にした。線形補間との視覚的・定量的比較により妥当性が裏付けられた。
• 再構成画像は高い時間的忠実性を維持しており、特に心室の動きに顕著に滑らかな遷移が観察された。
• 本手法は完全に教師なしであり、学習データや事前画像を一切必要とせず、さまざまな加速レートにわたる一般化性能が優れていることを示した。
• 時間的スーパーレゾリューションは追加のトレーニングやモデリングを必要とせず、最適化済みINRをより密な時間座標でクエリするだけで実現可能であり、デプロイの複雑さが低減された。