[논문 리뷰] Subsampled Fourier Ptychography using Pretrained Invertible and Untrained Network Priors

Fahad Shamshad, Asif Hanif외 1명|arXiv (Cornell University)|2020. 05. 13.

Advanced X-ray Imaging Techniques인용 수 7

한 줄 요약

이 논문은 사전 훈련된 역행 가능하고 사전 훈련되지 않은 딥 생성 모델을 사용하여 기존의 사전 지식과 사전 훈련된 생성 모델의 한계를 극복하기 위해, 부분 샘플링된 푸리에 페르티코그래피를 위한 두 가지 새로운 접근법—Invertible Ptych와 Untrained Ptych—을 제안한다. 역행 가능 플로우와 사전 훈련되지 않은 네트워크를 활용함으로써, 초저밀도 샘플링 비율(최소 2%)과 높은 노이즈 수준에서도 뛰어난 재구성 품질을 달성하며, 대규모 훈련 데이터가 필요로 하거나 표현 제약에 시달리지 않는 상태에서 최신 기준 성능을 초월한다.

ABSTRACT

Recently pretrained generative models have shown promising results for subsampled Fourier Ptychography (FP) in terms of quality of reconstruction for extremely low sampling rate and high noise. However, one of the significant drawbacks of these pretrained generative priors is their limited representation capabilities. Moreover, training these generative models requires access to a large number of fully-observed clean samples of a particular class of images like faces or digits that is prohibitive to obtain in the context of FP. In this paper, we propose to leverage the power of pretrained invertible and untrained generative models to mitigate the representation error issue and requirement of a large number of example images (for training generative models) respectively. Through extensive experiments, we demonstrate the effectiveness of proposed approaches in the context of FP for low sampling rates and high noise levels.

연구 동기 및 목표

• 부분 샘플링된 푸리에 페르티코그래피에서 사전 훈련된 생성 모델의 낮은 일반화 능력과 표현 제약을 해결한다.
• 컴퓨터 영상 응용 분야에서 생성 모델 사전 훈련을 위한 대규모 청소된 훈련 데이터가 필요로 하지 않는 것을 초월한다.
• 푸리에 페르티코그래피에서 매우 부분 샘플링되고 노이즈가 많은 측정치로부터 고해상도 이미지 재구성을 가능하게 한다.
• 시스템 파rameter(예: 카메라 수, 겹침)가 변경될 경우 재훈련이 필요로 하지 않는 유연한 프레임워크를 도입한다.
• 극한의 샘플링 및 노이즈 조건 하에서 정량적 및 정성적 지표에서 최신 기준 성능을 입증한다.

제안 방법

• 다양한 역행 가능 정규화 플로우를 통해 이미지 사전 지식을 강제하는 사전 훈련된 역행 가능 생성 모델(Glow 아키텍처)을 사용하여 분포 제약 없이 고정밀 재구성을 가능하게 한다.
• 사전 훈련 없이 데이터에서 직접 사전 지식을 학습하는 사전 훈련되지 않은 딥 생성 모델(U-Net에 스키프 연결 포함)을 적용하여 데이터 의존도를 감소시킨다.
• 역 문제를 데이터 적합성 항과 생성 모델의 잠재 공간을 통해 강제되는 사전 지식 항을 포함한 최적화 문제로 공식화한다.
• 기본적으로 기존의 단일 측정치에서의 위상 회복 프레임워크에 생성 사전 지식을 통합하고, 기울기 기반 최적화를 사용하여 고해상도 이미지를 복원한다.
• 측정치 수를 줄이고 실질적인 저샘플링 상황을 시뮬레이션하기 위해 부분 샘플링 연산자를 사용한다.
• CelebA(64×64)에서 역행 가능 모델을 훈련하고, 추가적인 튜닝 없이도 고품질 재구성을 생성하는 데 사용한다.

실험 결과

연구 질문

• RQ1 표준 사전 훈련된 생성기의 표현 제약을 피함으로써, 역행 가능 생성 모델이 부분 샘플링된 푸리에 페르티코그래피에서 재구성 품질을 향상시킬 수 있는가?
• RQ2 대규모 사전 훈련 데이터가 필요 없이도, 사전 훈련되지 않은 딥 생성 모델이 부분 샘플링된 FP에서 경쟁적인 성능을 달성할 수 있는가?
• RQ3 제안된 방법은 낮은 샘플링 비율(최소 2%)과 높은 노이즈(최대 10%)와 같은 극한 조건에서 최신 기준 성능과 비교해 어떻게 성능을 내는가?
• RQ4 재훈련이 필요 없이, 다양한 영상 파rameter(예: 카메라 수, 겹침) 변화에 대해 제안된 방법이 얼마나 일반화되는가?
• RQ5 역행 가능하고 사전 훈련되지 않은 사전 지식의 조합이 기존의 희박성 기반 또는 딥 러닝 기반 방법보다 더 높은 PSNR와 SSIM을 달성할 수 있는가?

주요 결과

• Untrained Ptych는 1% 부분 샘플링 비율과 10% 노이즈 조건에서 PSNR 33.99 dB를 기록했으며, CoPRAM(24.57 dB)과 IERA(14.43 dB)를 크게 앞서나갔다.
• Invertible Ptych는 1% 부분 샘플링과 10% 노이즈 조건에서 PSNR 30.60 dB를 달성했으며, CoPRAM(24.27 dB)과 IERA(15.51 dB)를 초월해 노이즈와 저샘플링에 대한 강건성을 입증했다.
• 2% 부분 샘플링 비율과 노이즈 없는 조건에서 Invertible Ptych는 PSNR 25.41 dB를 기록했으며, 극한의 부족 샘플링 조건에서도 뛰어난 성능을 보였다.
• 모든 노이즈 수준과 부분 샘플링 비율에서 Untrained Ptych는 IERA와 CoPRAM보다 평균 SSIM이 높게 유지되어 구조적 보존 능력이 뛰어나다는 것을 시사했다.
• Invertible Ptych는 생성기의 학습된 다양체에 제약을 받지 않아도 높은 재구성 품질을 유지했으며, DCGAN 기반 방법과 달리 생성기의 학습된 다양체에 국한되지 않았다.
• 모든 테스트된 부분 샘플링 비율과 노이즈 수준에서 제안된 방법은 PSNR와 SSIM 모두에서 일관된 성능 향상을 보였으며, 이는 강건성과 일반화 능력의 확실한 증거이다.