[논문 리뷰] ReconNet: Non-Iterative Reconstruction of Images from Compressively Sensed Random Measurements

Kuldeep Kulkarni, Suhas Lohit외 3명|arXiv (Cornell University)|2016. 01. 26.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 40

한 줄 요약

이 논문은 압축 감지(Compressive Sensing, CS) 측정값에서 직접적인 매핑을 학습함으로써 중간 복원 결과를 생성하고, 이후 표준 소음 제거기(예: BM3D)를 사용해 보정하는 비반복적 컨볼루션 신경망(ReconNet)을 제안한다. 이 방법은 상태 수준의 PSNR 성능과 실시간 성능을 달성하여 1% 측정률(0.01 MR)에서도 강건한 시각 추적을 가능하게 한다.

ABSTRACT

The goal of this paper is to present a non-iterative and more importantly an extremely fast algorithm to reconstruct images from compressively sensed (CS) random measurements. To this end, we propose a novel convolutional neural network (CNN) architecture which takes in CS measurements of an image as input and outputs an intermediate reconstruction. We call this network, ReconNet. The intermediate reconstruction is fed into an off-the-shelf denoiser to obtain the final reconstructed image. On a standard dataset of images we show significant improvements in reconstruction results (both in terms of PSNR and time complexity) over state-of-the-art iterative CS reconstruction algorithms at various measurement rates. Further, through qualitative experiments on real data collected using our block single pixel camera (SPC), we show that our network is highly robust to sensor noise and can recover visually better quality images than competitive algorithms at extremely low sensing rates of 0.1 and 0.04. To demonstrate that our algorithm can recover semantically informative images even at a low measurement rate of 0.01, we present a very robust proof of concept real-time visual tracking application.

연구 동기 및 목표

• 압축 감지(CS)를 위한 비반복적이고 계산 효율적인 이미지 복원 알고리즘을 개발하여, 느린 최적화 기반 방법을 피한다.
• 기존의 CS 알고리즘이 고수준 시각 작업에 실패하는 극도로 낮은 측정률(예: 0.01)에서도 고품질의 이미지 복원을 가능하게 한다.
• 압축 감지 복원 결과가 실시간 고수준 시각 응용(예: 물체 추적)을 위해 충분한 의미적 정보를 유지할 수 있음을 입증한다.
• 블록 단일 픽셀 카메라(SPC)에서 수집한 실제 데이터를 사용하여 센서 노이즈에 대한 강건성을 검증한다.

제안 방법

• 압축 감지된 이미지 블록(예: 33×33)을 직접 중간 복원 결과로 매핑하는 데 전용으로 설계된 새로운 CNN 아키텍처인 ReconNet을 제안한다.
• 블록 기반 처리 전략을 사용한다: 입력 CS 측정값을 겹치지 않는 블록으로 나누고, 각 블록을 별도로 ReconNet가 복원한다.
• 블록 별로 얻은 ReconNet 출력 결과를 조합하여 전체 이미지를 구성하고, 이후 표준 소음 제거기(예: BM3D)를 사용해 최종 품질을 향상시킨다.
• 다양한 측정률(MRs)에서 정규화된 무작위 가우시안 행렬을 사용해 시뮬레이션된 CS 측정값을 기반으로 ReconNet을 훈련한다. 측정률로는 0.1, 0.04, 0.01을 포함한다.
• 실제 CS 측정값을 수집하기 위해 실제 블록 SPC 테스트베드를 활용하여 센서 노이즈 조건 하에서의 정성적 검증을 수행한다.
• ReconNet를 커널 기반 상관 필터(KCF) 추적기와 통합하여, 0.01 MR에서 CS 영상에서 실시간 시각 추적을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 비반복적 방법이 낮은 측정률에서 상태 수준의 반복적 CS 복원 알고리즘보다 PSNR 성능과 계산 속도 면에서 뛰어나게 성능을 냈는가?
• RQ2 극도로 낮은 측정률(예: 0.01)에서도 CS 복원 결과가 고수준 시각 작업을 지원하기 위해 얼마나 많은 의미적 정보를 유지하는가?
• RQ3 실제 압축 감지 영상 시스템에서 센서 노이즈와 실제 측정 오차에 대해 제안된 방법이 얼마나 강건한가?
• RQ4 완전한 이미지 복원 없이도 CS 측정값에서 직접 실시간 고수준 시각 작업(예: 물체 추적)을 수행하는 것이 가능한가?

주요 결과

• 측정률 0.1 이하에서 ReconNet는 TVAL3, D-AMP와 같은 최신 반복적 알고리즘보다 유의미하게 높은 평균 PSNR 성능을 달성한다.
• 측정률 0.01에서 ReconNet는 15–20 dB의 PSNR 성능을 기록하며, 고수준 시각 작업에 필요한 충분한 의미적 정보를 유지한다.
• 블록 SPC에서 수집한 실제 데이터를 활용한 정성적 결과에서, MR 0.1 및 0.04 조건에서 TVAL3 및 D-AMP보다 ReconNet가 시각적으로 열등한 복원 결과를 내보낸다.
• ReconNet+KCF 파이프라인은 0.01 MR에서 10–56 FPS의 실시간 성능를 확보하여 실시간 물체 추적을 가능하게 한다.
• 20 픽셀 이내의 위치 오차 기준에서 ReconNet+KCF는 평균 정밀도 65.02%를 기록하여 낮은 측정률 조건에서도 실용적인 성능를 입증한다.
• 실제 SPC 데이터를 활용한 검증을 통해 센서 노이즈에 강건하고, 실제 영상 조건에 잘 일반화됨을 입증한다.