[論文レビュー] Conditional Variational Autoencoder for Learned Image Reconstruction

Chen Zhang, Riccardo Barbano+1 more|arXiv (Cornell University)|Oct 22, 2021

Medical Imaging Techniques and Applications参考文献 56被引用数 6

ひとこと要約

本稿では、ノイズの多い観測値を前提に、画像の事後分布をモデル化する深層ニューラルネットワークを用いて、PET画像再構成における不確実性を考慮した条件付き変分オートエンコーダー（cVAE）フレームワークを提案する。前方作用素の統合とアルゴリズムのアンローリングによる暗黙的事前分布の学習により、点推定と不確実性の定量化の両方に対する効率的なサンプリングが可能となり、特に低カウント条件下で最先端の手法を上回る性能を発揮する。

ABSTRACT

Learned image reconstruction techniques using deep neural networks have recently gained popularity, and have delivered promising empirical results. However, most approaches focus on one single recovery for each observation, and thus neglect the uncertainty information. In this work, we develop a novel computational framework that approximates the posterior distribution of the unknown image at each query observation. The proposed framework is very flexible: It handles implicit noise models and priors, it incorporates the data formation process (i.e., the forward operator), and the learned reconstructive properties are transferable between different datasets. Once the network is trained using the conditional variational autoencoder loss, it provides a computationally efficient sampler for the approximate posterior distribution via feed-forward propagation, and the summarizing statistics of the generated samples are used for both point-estimation and uncertainty quantification. We illustrate the proposed framework with extensive numerical experiments on positron emission tomography (with both moderate and low count levels) showing that the framework generates high-quality samples when compared with state-of-the-art methods.

研究の動機と目的

• 深層学習ベースの画像再構成において、多くの手法が単一の決定的推定値しか出力しないことによる不確実性定量化（UQ）の欠如に対処する。
• 観測値が与えられたもとでの未知画像の事後分布を、完全にモデリングする柔軟でデータ駆動のフレームワークを構築する。
• 物理法則（前方作用素を介して）と暗黙的事前分布を、明示的な尤度関数や事前分布を必要とせずに再構成プロセスに統合する。
• 異なるデータセットや撮影条件（低カウントおよび中程度カウントのPET）間で、学習済みの再構成特性を再利用可能にする。
• トレーニング後は順方向伝搬による計算効率の良い推論機構を提供し、サンプルアンサンブルから点推定と不確実性指標を両方得られるようにする。

提案手法

• 観測値を条件変数として用い、観測値が与えられたもとでの画像の事後分布をモデリングするための条件付き変分オートエンコーダー（cVAE）を活用する。
• アルゴリズムのアンローリングを用いてcVAEを実装し、前方作用素と潜在ノイズサンプルを繰り返し組み込むことで、再構成を段階的に改善する。
• 確率的エンコーダーにより、観測値に条件づけられた潜在空間を設計し、観測値と整合的で多様な妥当な再構成を生成可能にする。
• 真の事後分布を近似するため、エビデンス下界（ELBO）を最小化する変分推論の目的関数を用いてネットワークをトレーニングする。
• PETにおけるシステム行列などの物理的前方モデルをネットワークアーキテクチャに直接統合し、データ形成プロセスと整合性を保つ。
• トレーニング済みcVAEから複数のサンプルを生成し、不確実性定量化に用いる。点推定には平均値を、不確実性の指標にはサンプルの分散を用いる。

実験結果

リサーチクエスチョン

• RQ1 尤度関数や事前分布がデータから暗黙的に学習される状況において、cVAEのような深層生成モデルが、画像再構成における事後分布を効果的に近似できるか。
• RQ2 信号対雑音比が著しく低い状況下で、本手法が不確実性をどのように処理できるか。
• RQ3 分布外シフトを越えて一般化できる能力を示すために、トレーニングデータに存在しない新規特徴（例：小さな腫瘍）をどれだけ正しく再構成できるか。
• RQ4 前方作用素と物理法則の統合が、純粋にデータ駆動のベースラインと比較して、再構成品質と不確実性のキャリブレーションをどの程度向上させるか。
• RQ5 再トレーニングなしで、異なるデータセットや撮影条件間で学習済みの再構成特性を再利用可能か。

主な発見

• cVAEフレームワークは、信号対雑音比が低い低カウントPET状況においても、高品質な画像再構成と正確な不確実性推定を実現する。
• トレーニングデータに存在しない小さな腫瘍や大きな腫瘍を含むBrainWebフォントの再構成にも成功し、頑健性と一般化能力を示している。
• 低カウントレベルでは、極度のノイズのため小さな腫瘍を完全に回復できないが、cVAEの再構成は視覚的に妥当であり、LGD や GM3 などの最先端の確率的手法と同等の性能を示している。
• cVAEから生成されたサンプルの分散は、不確実性を効果的に捉えており、信号強度が低い領域や低カウント領域で高い不確実性が観察される。
• 特に低線量条件下で、cVAEは決定的ベースライン（例：MLEM、TV）よりも再構成品質と不確実性定量化の両面で優れた性能を発揮する。
• アルゴリズムのアンローリングと前方作用素の統合により、ネットワークが反復的に再構成を改善し、物理的制約と整合性の高い忠実度の高い再構成が可能になった。