[論文レビュー] Deep Learning Techniques for Inverse Problems in Imaging

Greg Ongie, Ajil Jalal+4 more|arXiv (Cornell University)|May 12, 2020

Medical Imaging Techniques and Applications参考文献 140被引用数 9

ひとこと要約

本論文は、画像分野における深層学習に基づく逆問題について包括的な分類体系を提示し、既知の前向きモデルと教師あり・教師なし学習の2軸で手法を分類している。深層学習がMRI再構成や画像のぼかし回復のタスクにおいて、古典的な正則化手法を上回ることを示しており、畳み込みネットワークの帰納的バイアスと早期停止を活用することで、学習データが不要な状況でも最先端の結果を達成するDeep Image Priorのような手法がその例である。

ABSTRACT

Recent work in machine learning shows that deep neural networks can be used to solve a wide variety of inverse problems arising in computational imaging. We explore the central prevailing themes of this emerging area and present a taxonomy that can be used to categorize different problems and reconstruction methods. Our taxonomy is organized along two central axes: (1) whether or not a forward model is known and to what extent it is used in training and testing, and (2) whether or not the learning is supervised or unsupervised, i.e., whether or not the training relies on access to matched ground truth image and measurement pairs. We also discuss the trade-offs associated with these different reconstruction approaches, caveats and common failure modes, plus open problems and avenues for future work.

研究の動機と目的

• 画像の逆問題を解くための新たな深層学習技術を体系的に整理・分類すること。
• 学習ベースの再構成における前向きモデルと監視の役割を明確にすること。
• 現在のアプローチにおける主なトレードオフ、失敗モード、未解決の課題を特定すること。
• データが限られる状況において、Deep Image Priorのような教師なし・自己教師あり手法の可能性を強調すること。
• 将来の研究の基盤を提供すること：不確実性の定量化、ドメイン適応、非線形逆問題の分野において。

提案手法

• 2軸分類体系を提案：(1) 前向きモデルが既知で利用されているか、(2) 学習が教師あり（ペairedデータあり）か教師なし（ペairedデータなし）か。
• ペアド測定データと真値画像を用いて深層ニューラルネットワークを学習させ、エンドツーエンドの再構成マッピングを学習する教師あり手法をレビュー。
• Deep Image Prior (DIP) などの教師なしアプローチを紹介し、ランダムに初期化されたジェネレータネットワークを測定値に適合させる最適化を行い、帰納的バイアスによって正則化を実現する。
• シミュレート済みデータや関連ドメインのデータから得た知識を、限られた実データでの医療画像タスクに転送するための自己教師ありおよびドメイン適応技術を議論。
• ベイジアン深層学習を用いた不確実性の定量化を検討し、生成対抗ネットワークを用いて再構成画像の事後分布を推定する。
• 非線形逆問題、特に位相回復を分析し、理論的理解と一般化の分野におけるギャップを特定。

実験結果

リサーチクエスチョン

• RQ1 深層学習手法は、前向きモデルの使用と監視の有無に基づいて、どのように体系的に分類できるか？
• RQ2 画像再構成における教師あり学習と教師なし学習の間で、性能と一般化性能のトレードオフは何か？
• RQ3 訓練されていない生成モデル（DIPなど）が、何らかの学習データがなくても画像再構成に成功する理由は何か？
• RQ4 再構成画像における不確実性は、臨床的・科学的応用においてどのように定量化され、意味的に活用できるか？
• RQ5 非線形逆問題への深層学習の応用における制限と未解決の課題は何か？

主な発見

• 特にDIPのような帰納的バイアスを活用する深層学習手法は、ラベル付き学習データが一切不要な状況でも、アンダーサンプリングやノイズの強い測定値から高品質な画像を再構成できる。
• DIPは、測定値に適合させるためにジェネレータネットワークを最適化し、早期停止が暗黙の正則化として機能することで、MRI再構成タスクで競争力のある性能を達成する。
• DIPの成功は、畳み込みネットワークが滑らかで自然な外観の画像を好み、ノイズ成分よりも先にそれらを再構成する帰納的バイアスに起因する。
• DIP や Deep Decoder のような訓練されていない生成モデルは、ピxls数よりもパラメータが多いにもかかわらず、驚くべき一般化性能を示しており、理論的理解の向上が求められる。
• 転移学習とドメイン適応は、実データが限られる医療画像分野において、シミュレート済みデータや関連ドメインのデータを活用することで有望な結果を示している。
• ベイジアン深層学習による不確実性の定量化は実現可能であり、有用である。最近の手法ではCT再構成においてピクセル単位の分散推定が可能になっている。