[論文レビュー] Bayesian Image Quality Transfer with CNNs: Exploring Uncertainty in dMRI Super-Resolution

Ryutaro Tanno, Daniel E. Worrall+5 more|arXiv (Cornell University)|May 1, 2017

Advanced Neuroimaging Techniques and Applications参考文献 2被引用数 20

ひとこと要約

本稿では、異方性ノイズモデルと変分ドロップアウトを用いて内在的不確実性とパラメータ不確実性の両方をモデル化するベイジアン畳み込みニューラルネットワーク（CNN）を、3D拡散MRIスーパーレゾリューションに提案する。この手法は最先端の再構成精度を達成し、下流のトラクトグラフィーにおける誤差を低減し、再構成誤差と相関する不確実性マップを生成する。そのマップは腫瘍のような病変を強調する。

ABSTRACT

In this work, we investigate the value of uncertainty modeling in 3D super-resolution with convolutional neural networks (CNNs). Deep learning has shown success in a plethora of medical image transformation problems, such as super-resolution (SR) and image synthesis. However, the highly ill-posed nature of such problems results in inevitable ambiguity in the learning of networks. We propose to account for intrinsic uncertainty through a per-patch heteroscedastic noise model and for parameter uncertainty through approximate Bayesian inference in the form of variational dropout. We show that the combined benefits of both lead to the state-of-the-art performance SR of diffusion MR brain images in terms of errors compared to ground truth. We further show that the reduced error scores produce tangible benefits in downstream tractography. In addition, the probabilistic nature of the methods naturally confers a mechanism to quantify uncertainty over the super-resolved output. We demonstrate through experiments on both healthy and pathological brains the potential utility of such an uncertainty measure in the risk assessment of the super-resolved images for subsequent clinical use.

研究の動機と目的

• 深層学習予測における不確実性をモデル化することで、医療画像スーパーレゾリューションの不適切な定式化の問題に取り組む。
• 3D版のESP-CNアーキテクチャを拡張することで、3D拡散MRIスーパーレゾリューションにおける再構成精度と効率を向上させる。
• 内在的（データ駆動）およびパラメータ（モデル駆動）の両方の不確実性を、1つの確率的CNNフレームワークに統合する。
• 不確実性マップが、特に脳腫瘍のような病理的症例において、低信頼度領域を特定するのにどの程度有効であるかを評価する。
• 不確実性に配慮したスーパーレゾリューションが、非確率的手法と比較して下流のトラクトグラフィー精度を向上させるかどうかを示す。

提案手法

• 2DのサブピクセルCNN（ESPCN）を3Dに拡張し、3D拡散MRIボリュームのリアルタイムかつ高精度なスーパーレゾリューションを可能にする。
• 解剖的構造に応じて変化するパッチごとの異方性ノイズモデルを用いて、内在的不確実性をモデル化する。
• 変分ドロップアウトを適用してベイジアン推論を近似し、CNN重みにおけるパラメータ不確実性を定量化する。
• 両方の不確実性タイプを1つのモデル（Hetero+Var. IおよびII）に統合し、ロバストネスと一般化性能を向上させる。
• 予測分布からのモンテカルロサンプリングを用いて、FAやMDなどの派生指標の平均と分散を推定する。
• トラクトグラフィー評価における最終予測のために、逆共分散重み付きのアンサンブル平均を採用する。

実験結果

リサーチクエスチョン

• RQ1 3D CNNにおいて、内在的およびパラメータ不確実性の両方をモデル化することで、決定的ベースラインを上回るdMRIスーパーレゾリューションの精度が向上するか？
• RQ2 予測された不確実性マップは、健常脳および病理的脳において、実際の再構成誤差とどの程度相関するか？
• RQ3 不確実性に配慮したスーパーレゾリューションは、標準的なCNNおよび補間手法と比較して、トラクトグラフィーの結果を改善するか？
• RQ4 不確実性マップは、トレーニングデータに存在しない腫瘍のような低信頼度領域を効果的に特定できるか？
• RQ5 不確実性モデリングは、神経画像における深層学習ベースの画像強化の解釈可能性と臨床的信頼性をどの程度向上させるか？

主な発見

• 提案されたHetero+Var.(I)モデルは、HCPおよびLifespanデータセットで最先端の性能を達成し、ベースラインCNNおよびRFベースの手法と比較して、顕著に再構成誤差を低減した。
• 不確実性マップはRMSE誤差マップと強く相関しており、特に白質および中心部の脳脊髄液（CSF）で、精度の代理指標としての有効性が示された。
• Prismaデータセットでは、CNNベースのSRが線形補間およびRF-IQTと比較して、より鋭い白質経路を生成し、トラクトグラフィーにおける誤検出を低減した。
• 脳腫瘍患者に適用した際、モデルはアーチファクトのない明確な高分解能画像を生成し、不確実性マップは腫瘍領域を高い不確実性で強調した。これは、その領域における信頼度が低いことを示した。
• 変分ドロップアウトは過学習を低減し、特に内部脳領域において一般化性能を向上させた。外側誤差スコアが低かったことから、その効果が裏付けられた。
• 両方の不確実性タイプの統合により、ロバストネスと予測性能が向上し、包括的な不確実性モデリングアプローチの利点が確認された。