[論文レビュー] PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging

Xin Cai, Zhiyuan You+4 more|arXiv (Cornell University)|Sep 26, 2024

Photoacoustic and Ultrasonic Imaging被引用数 4

ひとこと要約

PhoCoLensは、データ整合性のある低周波数再構成のための空間的に変化するデコンボリューションと、写真のようにリアルな高周波数ディテール生成のための拡散モデルベースのヌル空間精錬を組み合わせた2段階のレンズレス画像再構成手法を提案する。PhlatCamおよびDiffuserCamデータセットにおいて、PSNR、SSIM、LPIPSの指標で、先行手法を上回る最先端の性能を達成し、忠実度と視覚的品質の両面で優れた結果を示した。

ABSTRACT

Lensless cameras offer significant advantages in size, weight, and cost compared to traditional lens-based systems. Without a focusing lens, lensless cameras rely on computational algorithms to recover the scenes from multiplexed measurements. However, current algorithms struggle with inaccurate forward imaging models and insufficient priors to reconstruct high-quality images. To overcome these limitations, we introduce a novel two-stage approach for consistent and photorealistic lensless image reconstruction. The first stage of our approach ensures data consistency by focusing on accurately reconstructing the low-frequency content with a spatially varying deconvolution method that adjusts to changes in the Point Spread Function (PSF) across the camera's field of view. The second stage enhances photorealism by incorporating a generative prior from pre-trained diffusion models. By conditioning on the low-frequency content retrieved in the first stage, the diffusion model effectively reconstructs the high-frequency details that are typically lost in the lensless imaging process, while also maintaining image fidelity. Our method achieves a superior balance between data fidelity and visual quality compared to existing methods, as demonstrated with two popular lensless systems, PhlatCam and DiffuserCam. Project website: https://phocolens.github.io/.

研究の動機と目的

• レンズレス画像再構成における写真的リアリズムとデータ整合性のトレードオフを解消すること。
• カメラの視野全体にわたる空間的に変化する点 spread 関数（PSF）を正確にモデル化することで再構成忠実度を向上させること。
• 事前学習済みの拡散モデルを用いて、レンズレス撮影で失われた高周波数ディテールを、低周波数コンテンツを条件として回復させることで視覚的品質を向上させること。
• 2段階のフレームワークにより、真値と一貫性を保ちながら写真的リアリズムを達成すること。
• 従来手法が忠実度（例：生成モデル）または視覚的品質（例：従来のデコンボリューション）を犠牲にしているという限界を克服すること。

提案手法

• 本手法は2段階のフレームワークを採用する：まず、データ駆動型でPSFに適応するカーネルを用いて、空間的に変化するデコンボリューションにより、範囲空間成分（低周波数コンテンツ）を再構成することで整合性を向上させる。
• 2番目の段階では、事前学習済みの拡散モデルを用い、最初の段階の出力を条件として、ヌル空間からの高周波数ディテールを回復させる。これにより忠実度を保持する。
• 空間的に変化するデコンボリューションは、視野全体にわたるPSFの変化に適応するように訓練され、シフト不変モデルよりも精度が向上する。
• 拡散モデルは再構成された低周波数画像を条件として用いられ、リアルなテクスチャ生成をガイドするとともに、測定値と整合性を保つ。
• 教師あり学習戦略により、最終出力がデータ整合性と視覚的リアリズムの両方をバランスさせる。
• フレームワークは、標準的な指標（PSNR、SSIM、LPIPS）を用いて、2つのレンズレスシステム（PhlatCamおよびDiffuserCam）で評価された。

Figure 1 : We introduce PhoCoLens, a lensless reconstruction algorithm that achieves both better visual quality and consistency to the ground truth than existing methods. Our method recovers more details compared to traditional reconstruction algorithms (b) and (c), and also maintains better fidelit

実験結果

リサーチクエスチョン

• RQ1 2段階のレンズレス再構成フレームワークは、高品質な写真的リアリズムと真値との強い整合性を両立できるか？
• RQ2 空間的に変化するデコンボリューションは、シフト不変PSFモデルと比較して、再構成忠実度をどのように向上させるか？
• RQ3 低周波数コンテンツを条件として用いた拡散モデルは、アーティファクトを生成せずに、どれほどリアルな高周波数ディテールを回復できるか？
• RQ4 最初の段階の出力を拡散モデルの条件として用いることで、代替の条件（WienerDeconv、FlatNet-gen、SVD-OC）と比較して整合性が著しく向上するか？
• RQ5 実際のレンズレス撮影データにおいて、PhoCoLensはPSNR、SSIM、LPIPSの観点で最先端の手法と比較してどのように差をつけるか？

主な発見

• PhlatCamデータセットでは、PhoCoLensはPSNR 22.07、SSIM 0.601、LPIPS 0.215を達成し、ヌル空間再構成においてすべてのベースラインを上回った。
• DiffuserCamデータセットでは、PhoCoLensはPSNR 24.12、SSIM 0.748、LPIPS 0.161を達成し、優れた忠実度と視覚的品質を示した。
• アブレーションスタディにより、最初の段階の再構成結果を拡散モデルの条件として用いることで、WienerDeconv、FlatNet-gen、SVD-OCの条件と比較して整合性が著しく向上したことが確認された。
• 空間的に変化するデコンボリューション（SVDeconv）は、PhlatCamにおける範囲空間再構成でPSNR 26.97、SSIM 0.894を達成し、シフト不変手法を上回った。
• PSFの変化が最も顕著に現れる周辺領域において特に改善が見られ、図8の白破線で囲まれた領域で詳細回復が明確に向上した。
• 定量的評価により、PhoCoLensは忠実度とリアリズムの両面で最良のバランスを達成しており、比較対象のすべての手法と比較してPSNRおよびSSIMが最高、LPIPSが最低であった。

Figure 2 : Comparison between results without (left) and with (right) our spatially varying deconvolution.