[논문 리뷰] PhoCoLens: Photorealistic and Consistent Reconstruction in Lensless Imaging

Xin Cai, Zhiyuan You외 4명|arXiv (Cornell University)|2024. 09. 26.

Photoacoustic and Ultrasonic Imaging인용 수 4

한 줄 요약

PhoCoLens는 데이터 일관성 있는 저주파 복원을 위한 공간적으로 변화하는 디컨볼루션과 사진처럼 생긴 고주파 세부 정보 생성을 위한 디퓨전 모델 기반 노-null 공간 정제를 조합한 이단계적 렌즈리스 이미지 재구성 방법을 제안한다. 이는 PhlatCam 및 DiffuserCam 데이터셋에서 정밀도와 시각적 품질 측면에서 최신 기술을 초월하는 성능을 달성하며, PSNR, SSIM 및 LPIPS 지표에서 이전 방법들을 능가한다.

ABSTRACT

Lensless cameras offer significant advantages in size, weight, and cost compared to traditional lens-based systems. Without a focusing lens, lensless cameras rely on computational algorithms to recover the scenes from multiplexed measurements. However, current algorithms struggle with inaccurate forward imaging models and insufficient priors to reconstruct high-quality images. To overcome these limitations, we introduce a novel two-stage approach for consistent and photorealistic lensless image reconstruction. The first stage of our approach ensures data consistency by focusing on accurately reconstructing the low-frequency content with a spatially varying deconvolution method that adjusts to changes in the Point Spread Function (PSF) across the camera's field of view. The second stage enhances photorealism by incorporating a generative prior from pre-trained diffusion models. By conditioning on the low-frequency content retrieved in the first stage, the diffusion model effectively reconstructs the high-frequency details that are typically lost in the lensless imaging process, while also maintaining image fidelity. Our method achieves a superior balance between data fidelity and visual quality compared to existing methods, as demonstrated with two popular lensless systems, PhlatCam and DiffuserCam. Project website: https://phocolens.github.io/.

연구 동기 및 목표

• 렌즈리스 이미지 재구성에서 사진처럼 생긴 느낌과 데이터 일관성 사이의 상충 관계를 해결하기 위해.
• 카메라의 시야 범위 전역에서 공간적으로 변화하는 점확산함수(PSFs)를 정확히 모델링하여 재구성 정밀도를 향상시키기 위해.
• 사전 훈련된 디퓨전 모델을 사용하여 렌즈리스 영상에서 손실된 고주파 세부 정보를 복구함으로써 시각적 품질을 향상시키기 위해, 저주파 콘텐츠를 조건으로 삼는다.
• 두 단계 프레임워크를 통해 진정한 이미지와의 일관성을 확보하면서도 사진처럼 생긴 결과를 달성하기 위해.
• 기존 방법들이 either 정밀도를 희생(예: 생성 모델)하거나 시각적 품질을 희생(예: 기존 디컨볼루션)하는 한계를 극복하기 위해.

제안 방법

• 이 방법은 이단계 프레임워크를 활용한다: 첫 번째 단계에서 공간적으로 변화하는 디컨볼루션을 통해 데이터 기반, PSF 적응형 커널을 사용하여 범위 공간 성분(저주파 콘텐츠)을 재구성함으로써 일관성을 향상시킨다.
• 두 번째 단계에서는 사전 훈련된 디퓨전 모델을 사용하여 첫 번째 단계의 출력을 조건으로 삼아 노-null 공간에서 고주파 세부 정보를 복구한다. 이는 정밀도를 유지한다.
• 공간적으로 변화하는 디컨볼루션은 시야 범위 전역에서 PSF의 변화에 적응하도록 훈련되어, 이동 불변 모델 대비 정확도를 향상시킨다.
• 디퓨전 모델은 재구성된 저주파 이미지를 조건으로 삼아 현실적인 질감 생성을 유도하면서 측정치와의 일치를 유지한다.
• 감독 훈련 전략을 통해 최종 출력이 데이터 일관성과 현실감 있는 시각적 표현 사이의 균형을 확보한다.
• 프레임워크는 표준 지표인 PSNR, SSIM 및 LPIPS를 사용하여 두 가지 렌즈리스 시스템인 PhlatCam 및 DiffuserCam에서 평가된다.

Figure 1 : We introduce PhoCoLens, a lensless reconstruction algorithm that achieves both better visual quality and consistency to the ground truth than existing methods. Our method recovers more details compared to traditional reconstruction algorithms (b) and (c), and also maintains better fidelit

실험 결과

연구 질문

• RQ1 이단계적 렌즈리스 재구성 프레임워크는 높은 사진처럼 생긴 느낌과 진짜 이미지와의 강한 일관성 모두를 달성할 수 있는가?
• RQ2 공간적으로 변화하는 디컨볼루션은 이동 불변 PSF 모델 대비 재구성 정밀도를 어떻게 향상시키는가?
• RQ3 저주파 콘텐츠를 조건으로 삼는 디퓨전 모델은 잡음 없이 현실적인 고주파 세부 정보를 얼마나 잘 복구할 수 있는가?
• RQ4 첫 번째 단계의 출력을 디퓨전 모델의 조건으로 사용할 경우, 다른 조건(예: WienerDeconv, FlatNet-gen, SVD-OC) 대비 일관성이 유의미하게 향상되는가?
• RQ5 실제 렌즈리스 영상 데이터에서 PhoCoLens는 PSNR, SSIM 및 LPIPS 측면에서 최신 기술과 비교해 어떻게 성과를 내는가?

주요 결과

• PhlatCam 데이터셋에서 PhoCoLens는 PSNR 22.07, SSIM 0.601, LPIPS 0.215를 기록하여, 모든 기준선 대비 노-null 공간 복구에서 승리했다.
• DiffuserCam 데이터셋에서 PhoCoLens는 PSNR 24.12, SSIM 0.748, LPIPS 0.161을 기록하여 뛰어난 정밀도와 시각적 품질을 입증했다.
• 절단 실험을 통해 첫 번째 단계 재구성 결과를 디퓨전 모델의 조건으로 사용할 경우, WienerDeconv, FlatNet-gen 및 SVD-OC의 조건보다 일관성이 유의미하게 향상됨을 확인했다.
• 공간적으로 변화하는 디컨볼루션(SVDeconv)은 PhlatCam의 범위 공간 재구성에서 PSNR 26.97, SSIM 0.894를 기록하여 이동 불변 방법을 능가했다.
• 특히 PSF 변화가 가장 두드러지는 외곽 영역에서의 성능 향상이 두드러졌으며, 도식 8에서 흰색 점선 원으로 표시된 영역에서 더 높은 세부 정보 복원이 이루어짐을 확인할 수 있었다.
• 정량적 평가 결과, PhoCoLens는 정밀도와 현실감 사이의 최적 균형을 확보했으며, 비교된 모든 방법들 중에서 가장 높은 PSNR 및 SSIM 점수와 가장 낮은 LPIPS 점수를 기록했다.

Figure 2 : Comparison between results without (left) and with (right) our spatially varying deconvolution.