[論文レビュー] Learning to Scan: A Deep Reinforcement Learning Approach for Personalized Scanning in CT Imaging

Ziju Shen, Yufei Wang+3 more|arXiv (Cornell University)|Jun 3, 2020

Medical Imaging Techniques and Applications参考文献 67被引用数 5

ひとこと要約

本稿では、測定角度選択と個別患者ごとの線量配分を最適化する、パーソナライズドCTスキャン戦略を学習するための深層強化学習（DRL）フレームワークを提案する。CTスキャンをマルコフ決定過程（MDP）として定式化し、近接方策最適化（PPO）を用いて訓練することで、ランダムまたは均一なサンプリングと比較して、PSNRおよびSSIMで測定される優れた画像再構成品質を達成し、TV、ウェーブレットフレーム、PD-netなどのさまざまな再構成アルゴリズムに一般化する。

ABSTRACT

Computed Tomography (CT) takes X-ray measurements on the subjects to reconstruct tomographic images. As X-ray is radioactive, it is desirable to control the total amount of dose of X-ray for safety concerns. Therefore, we can only select a limited number of measurement angles and assign each of them limited amount of dose. Traditional methods such as compressed sensing usually randomly select the angles and equally distribute the allowed dose on them. In most CT reconstruction models, the emphasize is on designing effective image representations, while much less emphasize is on improving the scanning strategy. The simple scanning strategy of random angle selection and equal dose distribution performs well in general, but they may not be ideal for each individual subject. It is more desirable to design a personalized scanning strategy for each subject to obtain better reconstruction result. In this paper, we propose to use Reinforcement Learning (RL) to learn a personalized scanning policy to select the angles and the dose at each chosen angle for each individual subject. We first formulate the CT scanning process as an MDP, and then use modern deep RL methods to solve it. The learned personalized scanning strategy not only leads to better reconstruction results, but also shows strong generalization to be combined with different reconstruction algorithms.

研究の動機と目的

• 個々の患者の解剖学的特徴に適応しない固定で非パーソナライズドなスキャン戦略の限界を解消すること。
• 最適なスキャン方策を学習することで、画像再構成品質を維持または向上させながら放射線線量を低減すること。
• スキャン中にリアルタイムの測定フィードバックに基づき、動的に角度と線量を割り当てるパーソナライズドスキャン戦略を開発すること。
• 学習された方策が、従来の正則化手法や深層学習モデルを含む多様な再構成アルゴリズムに一般化できることを示すこと。

提案手法

• CTスキャンプロセスをマルコフ決定過程（MDP）としてモデル化し、状態には収集された測定値が含まれ、行動は次の角度と線量レベルの選択を意味し、報酬は再構成品質に基づく。
• 深層QネットワークにResNetベースのエンコーダーを組み合わせ、DRLフレームワークにおける状態表現の行動価値を推定する。
• 近接方策最適化（PPO）アルゴリズムを用いて方策ネットワークを訓練し、パーソナライズドスキャン戦略の安定的かつ効率的な学習を可能にする。
• 報酬関数は、各タイムステップで再構成アルゴリズム（例：SART）を用いて計算され、方策最適化のための密度の高いフィードバックを提供する。
• 画像の複雑さに基づいて角度と線量を適応的に選択できるようにすることで、不規則で非均一なスキャンパターンをサポートする。
• 方策は250枚の実際の2次元CT画像上でエンドツーエンドに訓練され、一般化および性能評価のため350枚の未学習のテスト画像で評価される。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、CT画像再構成においてランダムまたは均一なサンプリングを上回るパーソナライズドスキャン方策を学習できるか？
• RQ2 1つの訓練済みRL方策は、TV、ウェーブレットフレーム、深層学習モデルなどの異なる再構成アルゴリズムにどれほど一般化できるか？
• RQ3 学習された方策は、個々の患者の解剖学的複雑さに基づいて角度選択と線量配分を適応的に変更するか？
• RQ4 訓練時に明示的なノイズモデルを用いなくても、異なるノイズレベル下で再構成品質を維持できるか？
• RQ5 異なる患者スキャン間で選択された角度と線量配分の分布はどのように変化するか？

主な発見

• RL-AD方策は、すべてのテスト再構成アルゴリズムにおいて、動的サンプリング（DS-ED）および均一サンプリング（UF-AEC）と比較して顕著に高いPSNRおよびSSIM値を達成した。
• SARTでのみ訓練されたRL方策でも、TV、ウェーブレットフレーム、PD-netを含む他のアルゴリズムへの一般化が強く示された。
• 方策は患者固有の解剖学的特徴に適応した：構造的複雑さの高い画像はより多くの測定角度と低い1角度あたりの線量が割り当てられた。
• 選択された角度と線量配分の分布は被験者間で顕著に異なり、固定戦略ではなくパーソナライズド適応であることを確認した。
• 訓練時にガウスノイズのみを用いたにもかかわらず、さまざまなノイズレベルに一般化でき、測定変動へのロバストネスを示した。
• 学習された方策は、複雑な画像では54～65角度を選択し、角度数が増えるに従い1角度あたりの線量が減少する傾向を示しており、効率的な線量配分を反映している。