[論文レビュー] Intelligent Parameter Tuning in Optimization-based Iterative CT Reconstruction via Deep Reinforcement Learning

Chenyang Shen, Yesenia Gonzalez+3 more|arXiv (Cornell University)|Nov 1, 2017

Medical Imaging Techniques and Applications参考文献 3被引用数 7

ひとこと要約

本論文では、最適化に基づく反復的CT再構成におけるパrameterチューニングを自動化するためのディープ強化学習フレームワークを提案する。視覚フィードバックに基づき、画像ピクセルごとに正則化パラメータを調整するパラメータチューニングポリシー・ネットワーク（PTPN）を用いる。本手法は、手動チューニングと同等またはそれ以上の画像品質を達成し、再構成の忠実度を向上させる人間のようなパrameter調整のエンドツーエンド学習を示している。

ABSTRACT

A number of image-processing problems can be formulated as optimization problems. The objective function typically contains several terms specifically designed for different purposes. Parameters in front of these terms are used to control the relative weights among them. It is of critical importance to tune these parameters, as quality of the solution depends on their values. Tuning parameter is a relatively straightforward task for a human, as one can intelligently determine the direction of parameter adjustment based on the solution quality. Yet manual parameter tuning is not only tedious in many cases, but becomes impractical when a number of parameters exist in a problem. Aiming at solving this problem, this paper proposes an approach that employs deep reinforcement learning to train a system that can automatically adjust parameters in a human-like manner. We demonstrate our idea in an example problem of optimization-based iterative CT reconstruction with a pixel-wise total-variation regularization term. We set up a parameter tuning policy network (PTPN), which maps an CT image patch to an output that specifies the direction and amplitude by which the parameter at the patch center is adjusted. We train the PTPN via an end-to-end reinforcement learning procedure. We demonstrate that under the guidance of the trained PTPN for parameter tuning at each pixel, reconstructed CT images attain quality similar or better than in those reconstructed with manually tuned parameters.

研究の動機と目的

• 最適化に基づく反復的CT再構成における、面倒で現実的でない手動パラメータチューニングの課題に対処すること。
• 画像品質フィードバックに基づいて、人間の直感を模倣する自動化されたシステムを構築すること。
• 手動による干渉なしに、再構成品質を向上させるパラメータ調整ポリシーのエンドツーエンド学習を可能にすること。
• 深層強化学習を用いた、CT再構成における適応的でピクセルごとのパラメータチューニングの実現可能性を示すこと。
• 知的で学習されたパラメータ調整により、手動でチューニングされたパラメータと同等またはそれ以上の再構成品質を達成すること。

提案手法

• 局所的なCT画像ピクセルを入力として、そのピクセル中心の正則化パラメータに対する調整方向と大きさを出力するパラメータチューニングポリシー・ネットワーク（PTPN）を設計する。
• エージェントが試行錯誤の相互作用を通じて再構成品質を向上させるように、画像品質に基づく報酬信号を用いて深層強化学習でPTPNを訓練する。
• 全変動正則化付きCT再構成モデルにおける正則化パラメータλの最適なポリシーを学習するために、深層Qネットワーク（DQN）フレームワークを用いる。
• 環境は反復的再構成プロセスで定義され、エージェントは現在の画像ピクセルを観測し、λを変更する行動をとる。フィードバックは画像品質指標に基づいて得られる。
• 訓練プロセスはエンドツーエンドであり、明示的な教師信号を必要とせず、空間的に適応的なパラメータチューニング戦略を学習可能である。
• 本手法は、ピxls単位の全変動正則化を用いたCT再構成問題に対して評価され、局所的な画像特性に基づき、ピクセルごとにλを調整する。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習は、人間の直感を模倣する形で、CT再構成における正則化パラメータのチューニングを学習できるか？
• RQ2 エンドツーエンドに訓練されたエージェントは、手動チューニングと同等またはそれ以上の再構成品質を達成できるか？
• RQ3 強化学習によるピクセルごとの適応的パラメータチューニングは、反復的CT再構成における画像品質を向上させるか？
• RQ4 明示的な再トレーニングなしに、異なる画像特徴やノイズレベルに一般化できるか？
• RQ5 学習されたポリシーのパフォーマンスは、L曲線や一般化交差検証といった標準的なパラメータ選択手法と比べてどうか？

主な発見

• 提案されたディープ強化学習ベースのパラメータチューニングシステムは、手動でチューニングされたパラメータと同等またはそれ以上のCT再構成画像品質を達成した。
• PTPNは、空間的に適応的な形で正則化パラメータλを調整する能力を効果的に学習し、ノイジーまたは低線量領域での再構成忠実度を向上させた。
• 本手法は、画像コンテンツの変化に対して頑健であり、ノイジー領域では正則化を増加させ、滑らかな領域では減少させるように学習した。
• PTPNのエンドツーエンド訓練により、真値パラメータ値を必要とせず、最適なパラメータ調整ポリシーを発見できるようになった。
• 本フレームワークは、パラメータ選択におけるエキスパートの関与を削減し、臨床応用において反復的再構成をより実用的なものにした。
• 結果から、強化学習が複雑な画像再構成のパラメータチューニングにおける人間のような意思決定を効果的にモデル化できることを検証した。