[논문 리뷰] Deep Networks for Compressed Image Sensing

Wuzhen Shi, Feng Jiang외 2명|arXiv (Cornell University)|2017. 07. 22.

Sparse and Compressive Sensing Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 압축 이미지 센싱을 위한 딥러닝 프레임워크인 CSNet을 제안한다. 이 프레임워크는 최적의 샘플링 행렬과 딥 리커스트럭처 네트워크를 동시에 학습한다. 엔드 투 엔드 훈련을 통해 CSNet은 재구성 품질(PSNR 최대 3.91 dB 향상)과 속도(이미지당 0.15초 이내) 측면에서 최신 기술을 초월하며, 뛰어난 이미지 정밀도와 가장자리 유지 성능을 갖춘 실시간 성능을 달성한다.

ABSTRACT

The compressed sensing (CS) theory has been successfully applied to image compression in the past few years as most image signals are sparse in a certain domain. Several CS reconstruction models have been recently proposed and obtained superior performance. However, there still exist two important challenges within the CS theory. The first one is how to design a sampling mechanism to achieve an optimal sampling efficiency, and the second one is how to perform the reconstruction to get the highest quality to achieve an optimal signal recovery. In this paper, we try to deal with these two problems with a deep network. First of all, we train a sampling matrix via the network training instead of using a traditional manually designed one, which is much appropriate for our deep network based reconstruct process. Then, we propose a deep network to recover the image, which imitates traditional compressed sensing reconstruction processes. Experimental results demonstrate that our deep networks based CS reconstruction method offers a very significant quality improvement compared against state of the art ones.

연구 동기 및 목표

• 압축 센싱의 두 핵심 과제인 최적의 샘플링 행렬 설계와 빠르고 고품질의 이미지 재구성 문제를 해결하기 위해.
• 기존의 수작업으로 설계된 샘플링 행렬(예: 가우시안 또는 토플리츠 행렬)을 데이터 기반의 학습 가능한 대체 방법으로 대체하기 위해.
• 전통적인 CS 재구성 과정을 모방하지만 더 뛰어난 성능을 달성하는 빠르고 엔드 투 엔드의 딥 네트워크를 개발하기 위해.
• 실제 응용에 적합한 높은 재구성 품질을 갖춘 실시간 압축 이미지 센싱을 가능하게 하기 위해.

제안 방법

• 세 부분으로 구성된 딥 네트워크 아키텍처: (1) 기존의 고정된 샘플링 행렬을 대체하는 학습 가능한 샘플링 서브넷.
• 압축 측정값에서 빠르고 거친 복원을 수행하는 초기 재구성 서브넷.
• 잔차 학습과 스킵 연결을 사용해 반복적으로 이미지를 정밀하게 개선하는 딥 재구성 서브넷.
• 정답 이미지 기반의 지도 학습 손실 함수를 사용해 엔드 투 엔드로 네트워크를 훈련한다.
• 역전파 과정 동안 샘플링 행렬이 최적화되어 데이터 분포에 맞게 네트워크가 적응할 수 있도록 한다.
• 블록 압축 센싱과 스무스 프로젝션 랑드베르 알고리즘을 영감으로 받아, 반복적 정밀화를 딥러닝 프레임워크에 통합한다.

실험 결과

연구 질문

• RQ1 딥 네트워크가 압축 센싱을 위한 최적의 샘플링 행렬과 이미지 재구성 과정을 동시에 학습할 수 있는가?
• RQ2 학습 가능한 샘플링 행렬이 전통적인 랜덤 또는 구조적 행렬보다 이미지 재구성 품질에서 뛰어나게 성능을 발휘하는가?
• RQ3 딥러닝 기반 재구성 방법이 고 PSNR/SSIM과 실시간 추론 속도를 동시에 달성할 수 있는가?
• RQ4 최신 기술 대비 제안된 방법이 재구성 품질과 계산 효율성 측면에서 어떻게 비교되는가?

주요 결과

• CSNet은 0.1에서 0.5의 모든 샘플링 비율에서 Set5와 Set14 데이터셋에서 최고의 PSNR와 SSIM 성능를 기록했다.
• 0.1 샘플링 비율에서 Set5에서 CSNet은 이전 최고 성능 기술인 GSR 대비 PSNR를 2.31 dB 향상시켰다.
• Set14에서 CSNet은 DWT 대비 평균 3.91 dB, TV 대비 3.71 dB, MH 대비 2.60 dB의 PSNR 향상을 달성했다.
• CSNet은 이미지당 0.15초 이내로 실행되어 GSR(883초)와 MH(52초)보다 훨씬 빠르며, 실시간 응용을 가능하게 했다.
• 시각적 결과에서는 경쟁 기술 대비 더 선명한 가장자리와 세밀한 이미지 세부 정보를 유지하는 것으로 나타났다.
• 더 깊고 넓은 네트워크 변형(10층, d=128)은 PSNR와 SSIM을 추가로 향상시켜 능력 향상의 효과를 확인했다.