[논문 리뷰] SPI-GAN: Towards Single-Pixel Imaging through Generative Adversarial Network

Nazmul Karim, Nazanin Rahnavard|arXiv (Cornell University)|2021. 07. 03.

Random lasers and scattering media참고 문헌 78인용 수 14

한 줄 요약

이 논문은 단일 픽셀 영상 재구성에 적합한 GAN 기반 프레임워크인 SPI-GAN을 제안한다. 이는 ResNet 유사 생성자와 다중 손실 목적함수(MSE + 인지 손실)를 활용하여 낮은 측정 비율에서도 고품질의 영상 재구성을 달성한다. 5% 측정 비율에서 17.92 dB PSNR와 0.487 SSIM을 달성하며, 최대 22 fps로 실시간 영상 재구성을 가능하게 하며, 예측되지 않은 이미지에 대해 강력한 일반화 능력과 노이즈에 대한 강건성을 보인다.

ABSTRACT

Single-pixel imaging is a novel imaging scheme that has gained popularity due to its huge computational gain and potential for a low-cost alternative to imaging beyond the visible spectrum. The traditional reconstruction methods struggle to produce a clear recovery when one limits the number of illumination patterns from a spatial light modulator. As a remedy, several deep-learning-based solutions have been proposed which lack good generalization ability due to the architectural setup and loss functions. In this paper, we propose a generative adversarial network-based reconstruction framework for single-pixel imaging, referred to as SPI-GAN. Our method can reconstruct images with 17.92 dB PSNR and 0.487 SSIM, even if the sampling ratio drops to 5%. This facilitates much faster reconstruction making our method suitable for single-pixel video. Furthermore, our ResNet-like architecture for the generator leads to useful representation learning that allows us to reconstruct completely unseen objects. The experimental results demonstrate that SPI-GAN achieves significant performance gain, e.g. near 3dB PSNR gain, over the current state-of-the-art method.

연구 동기 및 목표

• 기존의 반복적 및 딥러닝 기반 단일 픽셀 영상 재구성 방법의 한계를 해결한다. 이는 높은 계산 비용, 느린 재구성 속도, 낮은 일반화 능력으로 인해 발생한다.
• 영상 재구성에서 표준 MSE 기반 손실 함수의 뿌연 출력과 제한된 표현 학습 능력을 극복한다.
• 낮은 측정 비율(예: 5%)에서도 빠르고 고품질의 단일 픽셀 영상 재구성을 가능하게 하며, 영상 응용 분야에 적합하다.
• 심층 잔차 생성자 아키텍처를 활용하여 강력한 특징 학습 능력을 갖춘 깊이 있는 생성자 아키텍처를 통해 예측되지 않은 이미지에 대한 일반화 능력을 향상시킨다.
• 적대적 훈련과 인지 손실을 결합한 GAN 기반 프레임워크를 개발하여 구조적 및 고주파 세부 정보 복구 능력을 향상시킨다.

제안 방법

• 잔차 연결을 갖춘 ResNet 유사 생성자 네트워크를 사용하여 특징 표현 학습을 향상시키고, 더 깊은 네트워크의 훈련을 가능하게 한다.
• 실제 영상과 재구성된 영상 간을 구분하는 판별자 네트워크를 통합하여 생성자가 현실적인 출력을 생성하도록 유도한다.
• 미리 훈련된 VGG 네트워크의 특징 기반으로 인지 유사도 손실을 사용하는 하이브리드 손실 함수를 도입하여 구조적 정밀도를 향상시키고 뿌연 이미지의 문제를 줄인다.
• 최소 최대 목적함수를 사용하여 생성자와 판별자를 적대적으로 훈련함으로써 재구성 정확도와 인지 품질을 동시에 최적화한다.
• 극도로 낮은 측정 조건을 평가하기 위해 추론 중에 측정 비율을 5%로 고정한다.
• 다양한 데이터셋에서 100 에포크 동안 훈련하여 예측되지 않은 데이터에 대한 강건성과 일반화 능력을 확보한다.

실험 결과

연구 질문

• RQ1 5% 측정 비율에서 GAN 기반 프레임워크가 최신 딥러닝 및 반복적 방법보다 단일 픽셀 영상 재구성에서 뛰어난 성능을 보일 수 있는가?
• RQ2 ResNet 유사 생성자 아키텍처의 사용이 단일 픽셀 영상 재구성에서 특징 표현과 재구성 품질을 향상시키는가?
• RQ3 MSE와 인지 손실의 조합이 MSE 단독 기반 보다 더 선명하고 현실적인 재구성을 가능하게 하는가?
• RQ4 SPI-GAN이 훈련 중에 볼 수 없었던 완전히 새로운 이미지와 데이터셋에 얼마나 잘 일반화되는가?
• RQ5 SPI-GAN은 낮은 측정 비율에서도 고품질로 실시간 영상 재구성(예: 15–22 fps)을 달성할 수 있는가?

주요 결과

• SPI-GAN은 5% 측정 비율에서 17.92 dB PSNR와 0.487 SSIM을 달성하여 기존 방법들을 크게 능가한다.
• 이 방법은 5% 측정 비율에서 최대 22 fps로 실시간 단일 픽셀 영상 재구성을 가능하게 하며, 총 영상 촬영 시간은 단 0.065초이다.
• SPI-GAN은 강력한 일반화 능력을 보이며, CBSD68에서 평균 18.28 dB, BSDS300에서 18.49 dB의 PSNR를 달성하여 DLGI와 Deepghost를 능가한다.
• Urban100과 SunHays-80 데이터셋에서 SPI-GAN은 각각 17.15 dB와 17.85 dB의 PSNR를 기록했으며, Deepghost는 각각 14.21 dB와 14.84 dB를 기록하여 더 뛰어난 강건성과 표현 학습 능력을 보였다.
• 인지 손실 구성 요소는 뿌연 이미지 문제를 줄이고, MSE 단독 기반 기준보다 고주파 세부 정보를 향상시켜 재구성 품질을 크게 향상시킨다.
• 100 에포크의 훈련 후, 검증 세트에서 SPI-GAN은 18.95 dB PSNR와 0.545 SSIM을 달성하여 안정적인 수렴과 높은 성능을 확인했다.