[論文レビュー] Is Deep Image Prior in Need of a Good Education

Riccardo Barbano, Johannes Leuschner+5 more|arXiv (Cornell University)|Nov 23, 2021

Medical Imaging Techniques and Applications参考文献 45被引用数 6

ひとこと要約

本論文は、合成データ上で事前学習を行い、その後実際のマイクロCTデータでファインチューニングする二段階の学習フレームワークを提案し、画像再構成のためのDeep Image Prior（DIP）の高速化を図る。この手法は、再構成時間の顕著な短縮を実現しながらも、高い忠実度を維持しており、生物学的標本の画像処理において顕著な高速化を示している。

ABSTRACT

Deep image prior was recently introduced as an effective prior for image reconstruction. It represents the image to be recovered as the output of a deep convolutional neural network, and learns the network's parameters such that the output fits the corrupted observation. Despite its impressive reconstructive properties, the approach is slow when compared to learned or traditional reconstruction techniques. Our work develops a two-stage learning paradigm to address the computational challenge: (i) we perform a supervised pretraining of the network on a synthetic dataset; (ii) we fine-tune the network's parameters to adapt to the target reconstruction. We showcase that pretraining considerably speeds up the subsequent reconstruction from real-measured micro computed tomography data of biological specimens. The code and additional experimental materials are available at this https URL

研究の動機と目的

• 従来の手法や学習済み手法と比較して、画像再構成における計算効率が低いDeep Image Prior（DIP）の問題を解決すること。
• 実世界のマイクロCTデータにおいて、再構成品質を損なわずにDIPの推論速度を向上させること。
• 合成データを用いた事前学習と実データを用いたファインチューニングを組み合わせた二段階の学習フレームワークを構築すること。
• 時間的に制限のあるバイオメディカル画像処理の応用分野におけるDIPの実用的導入を可能にすること。

提案手法

• 多様な構造やテクスチャを持つ画像から構成される大規模な合成データセット上で、深層畳み込みニューラルネットワークを事前学習する。
• 事前学習済みネットワークを再構成のための事前分布として利用し、ネットワークの重みを事前学習済みパラメータで初期化する。
• ターゲットデータの分布に適応するため、実際の破損したマイクロCT測定値上でネットワークのパラメータをファインチューニングする。
• 再構成を最適化問題として定式化し、ネットワーク出力と観測データの差を最小化する。この際、ネットワーク構造自体が事前分布を表現する。
• CNNアーキテクチャが持つインダクティブバイアスを活用して再構成をガイドし、事前学習によって最適化の探索空間を縮小する。
• 生物学的標本の実測マイクロCTデータに本手法を適用し、標準DIPと比較して再構成速度と品質を評価する。

実験結果

リサーチクエスチョン

• RQ1 合成データ上で深層畳み込みニューラルネットワークを事前学習することで、Deep Image Priorを用いた画像再構成に要する時間の大幅な短縮が可能か？
• RQ2 実際のマイクロCTデータにおいて、事前学習＋ファインチューニング手法の再構成品質は、標準DIPと比較してどの程度優れているか？
• RQ3 事前学習によって、DIPにおける収束に必要な最適化イテレーション回数はどの程度削減されるか？
• RQ4 提案手法は、計算効率の向上を図りながらも、DIPが持つ高い再構成忠実度を維持できるか？

主な発見

• 提案された二段階の手法は、実際のマイクロCTデータにおいて、標準DIPと比較して顕著に高速な再構成を実現している。
• 合成データ上で事前学習することで、ファインチューニング段階における最適化ステップ数が削減され、収束が早くなった。
• 本手法は高い再構成品質を維持しており、生物学的標本の微細な構造的詳細をも正確に再現している。
• 限られた測定データやノイズの多い測定条件下では、標準DIPが実用的でないほど遅くなるが、本手法はその点で特に顕著な高速化を示している。
• 本手法は汎用的であり、マイクロCTにとどまらず、他の画像再構成タスクにも応用可能である。
• コードと実験用資料は公開されており、再現性とさらなる研究の促進が可能である。