[論文レビュー] Experimental design for MRI by greedy policy search

Tim Bakker, Herke van Hoof+1 more|arXiv (Cornell University)|Oct 30, 2020

Model Reduction and Neural Networks参考文献 44被引用数 6

ひとこと要約

本稿では、報酬の即時最大化を目的とするグリーディー方策探索を用いた強化学習手法を提案し、ヒューリスティック法や非グリーディー手法を凌駂数の高い適応的MRI部分サンプリング戦略を学習する。驚くべきことに、グリーディー手法は長期的報酬を考慮しないにもかかわらず、勾配推定の単純さにもかかわらず近似的に最適な性能を達成しており、これは方策更新における低い分散に起因する。この結果は、固定測定予算下での再構成品質向上に、個々の画像への適応性が不可欠であることを示している。

ABSTRACT

In today's clinical practice, magnetic resonance imaging (MRI) is routinely accelerated through subsampling of the associated Fourier domain. Currently, the construction of these subsampling strategies - known as experimental design - relies primarily on heuristics. We propose to learn experimental design strategies for accelerated MRI with policy gradient methods. Unexpectedly, our experiments show that a simple greedy approximation of the objective leads to solutions nearly on-par with the more general non-greedy approach. We offer a partial explanation for this phenomenon rooted in greater variance in the non-greedy objective's gradient estimates, and experimentally verify that this variance hampers non-greedy models in adapting their policies to individual MR images. We empirically show that this adaptivity is key to improving subsampling designs.

研究の動機と目的

• 加速画像取得におけるヒューリスティックベースのMRI部分サンプリングマスクの限界を是正すること。
• 強化学習を用いたデータ駆動型実験設計が、固定または非適応的戦略に比べて再構成品質を向上させることを検証すること。
• グリーディーと非グリーディー方策最適化の間のトレードオフを、最適k空間サンプリングパターンの学習という観点から調査すること。
• 方策勾配法が、解剖学的差に応じた画像固有のサンプリング戦略を効果的に学習できるかどうかを評価すること。

提案手法

• MRI部分サンプリングを強化学習を用いた逐次意思決定問題として定式化し、方策ネットワークが現在の再構成に基づいてk空間のサンプルを選択する。
• 別個の再構成モデル（例：深層ニューラルネットワーク）を採用し、部分サンプリングk空間データを処理し、低解像度の画像を出力する。この出力が方策ネットワークの入力として使用される。
• 各サンプリングステップ後に、再構成画像と真値画像間の構造的類似度（SSIM）の向上に基づいた報酬信号を用いる。
• 2種類の勾配法を用いる：グリーディー（即時報酬の最大化）と非グリーディー（γ=0.9の割引未来報酬を使用）。
• REINFORCE法にベースラインを適用し、方策ネットワークが出力する離散確率分布から行動をサンプリングする。
• 固定測定予算下での再構成品質向上を最適化するため、確率的勾配降下法を用いて方策ネットワークをエンドツーエンドで訓練する。

実験結果

リサーチクエスチョン

• RQ1 グリーディー方策探索によるMRI部分サンプリング設計は、より複雑な非グリーディー手法に比べ、再構成品質と学習安定性の面で優れているか？
• RQ2 長期的報酬を考慮しないにもかかわらず、なぜグリーディー手法が近似的に最適な性能を達成できるのか？
• RQ3 非グリーディー目的における勾配の分散が、学習中の方策適応性と収束性に与える影響はいかほどか？
• RQ4 固定または非適応的戦略に比べ、個々のMR画像への適応性が部分サンプリング設計にどれほど向上効果をもたらすか？
• RQ5 方策勾配法は、異なる解剖的構造に一般化可能な画像固有のサンプリングパターンを効果的に学習できるか？

主な発見

• グリーディー方策探索手法は、単純さにもかかわらず、より複雑な非グリーディー手法とほぼ同等の再構成品質を達成した。
• 非グリーディー手法は、勾配推定の分散が高く、学習中に個々のMR画像への適応能力に制限を受けていた。
• グリーディー手法は顕著に低い勾配分散を示し、特に後期の学習エポックにおいて、より安定的かつ効果的な方策学習が実現した。
• 膝部データセットでは、グリーディーモデルが30エポック目で平均SNR 5.90を達成したのに対し、非グリーディーモデルは1.08に低下し、収束不良が顕著に現れた。
• 頭部データセットでは、グリーディー・モデルが30エポック目でSNR 14.50に達したのに対し、非グリーディー・モデルは2.02に低下し、非グリーディー手法の不安定性がさらに確認された。
• 可視化結果から、グリーディー方策は長時間スケールの設定でも、特に低周波数k空間領域を効果的にサンプリングすることが学習されたことが確認され、既知の最適サンプリングパターンと整合的であった。