[論文レビュー] Subsampled Fourier Ptychography using Pretrained Invertible and Untrained Network Priors

Fahad Shamshad, Asif Hanif+1 more|arXiv (Cornell University)|May 13, 2020

Advanced X-ray Imaging Techniques被引用数 7

ひとこと要約

本稿では、事前学習済みの可逆的および未学習の深層生成モデルを用いて、従来の事前知識や事前学習済み生成モデルの制限を克服する、2つの新しい手法—Invertible Ptych および Untrained Ptych—を提案する。可逆フローと未学習ネットワークを活用することで、超高解像度の再構成が、2%という極めて低いサンプリングレートおよび高いノイズレベルでも達成可能となり、大規模なトレーニングデータを必要とせず、表現制約の問題を回避する。その結果、PSNR および SSIM の両面で最先端のベースラインを上回る性能を発揮する。

ABSTRACT

Recently pretrained generative models have shown promising results for subsampled Fourier Ptychography (FP) in terms of quality of reconstruction for extremely low sampling rate and high noise. However, one of the significant drawbacks of these pretrained generative priors is their limited representation capabilities. Moreover, training these generative models requires access to a large number of fully-observed clean samples of a particular class of images like faces or digits that is prohibitive to obtain in the context of FP. In this paper, we propose to leverage the power of pretrained invertible and untrained generative models to mitigate the representation error issue and requirement of a large number of example images (for training generative models) respectively. Through extensive experiments, we demonstrate the effectiveness of proposed approaches in the context of FP for low sampling rates and high noise levels.

研究の動機と目的

• 部分サンプリングFourier ptychグラフィーにおける事前学習済み生成モデルの一般化性能および表現制限の問題を解決する。
• 計算画像処理応用分野における生成モデルの事前学習に、大規模かつクリアなトレーニングデータを必要としない。
• Fourier ptychグラフィーにおいて、極度に部分的にサンプリングされ、ノイズの多い測定値からも、高解像度画像の再構成を可能にする。
• システムパラメータ（例：カメラ数、オーバーラップ）が変更された場合でも、再トレーニングを必要としない柔軟なフレームワークを提供する。
• 極端なサンプリングおよびノイズ条件下で、定性的および定量的指標において最先端の性能を示す。

提案手法

• Glowアーキテクチャを用いた事前学習済み可逆的生成モデルを活用し、微分可能で可逆な正規化フローにより画像事前知識を強制することで、分布制約なしに高精度な再構成を実現する。
• 事前学習を経ない未学習の深層生成モデル（スキップ接続付きU-Net）を適用し、データから直接事前知識を学習することで、データ依存性を低減する。
• 逆問題を、測定適合性項と、生成モデルの潜在空間を介して強制される事前知識項を含む最適化問題として定式化する。
• 生成事前知識を反復的位相再構成フレームワークに統合し、勾配ベース最適化を用いて、位相のみの部分的測定値から高解像度画像を回復する。
• 測定回数を削減し、Fourierドメインにおける現実的な低サンプリングシナリオをシミュレートするための部分サンプリング作用素を用いる。
• CelebA（64×64）で可逆モデルをトレーニングし、微調整や追加データなしに高品質な再構成を生成する。

実験結果

リサーチクエスチョン

• RQ1 可逆的生成モデルは、標準的な事前学習済み生成器の表現制限を回避することで、部分サンプリングFourier ptychグラフィーにおける再構成品質を向上させることができるか？
• RQ2 未学習の深層生成モデルは、大規模な事前学習データを必要とせず、部分サンプリングFPで競争力のある性能を達成できるか？
• RQ3 提案手法は、極端な条件下—2%未塔のサンプリング比および10%までのノイズ—で、最先端のベースラインと比較してどの程度の性能を示すか？
• RQ4 提案手法は、カメラ数やオーバーラップなどの異なる画像パラメータに対しても、再トレーニングなしにどの程度一般化できるか？
• RQ5 可逆的および未学習の事前知識の組み合わせにより、従来のスパarsityベースや深層学習ベースの手法と比較して、PSNR および SSIM が向上するか？

主な発見

• Untrained Ptych は1%の部分サンプリング比および10%のノイズ条件下でPSNR 33.99 dBを達成し、CoPRAM（24.57 dB）および IERA（14.43 dB）を顕著に上回った。
• Invertible Ptych は1%の部分サンプリングおよび10%のノイズ条件下でPSNR 30.60 dBを達成し、CoPRAM（24.27 dB）および IERA（15.51 dB）を上回り、ノイズおよび低サンプリングに対する耐性を示した。
• 2%の部分サンプリングおよびノイズなしの条件下で、Invertible Ptych はPSNR 25.41 dBを達成し、極端なアンダーサンプリングでも優れた性能を示した。
• Untrained Ptych は、全ノイズレベルおよび部分サンプリング比において、IERA や CoPRAM よりも高い平均SSIMを達成し、構造的保存性に優れていることを示した。
• Invertible Ptych は、分布制約なしに高い再構成品質を維持したのに対し、DCGANベースの手法は生成器が学習した多様体に制限されていた。
• 提案手法は、全テスト部分サンプリング比およびノイズレベルにおいて、PSNR および SSIM の両面で一貫した性能向上を示し、その耐性および一般化能力を確認した。