[논문 리뷰] A Deep Learning Approach to Block-based Compressed Sensing of Images

Amir Adler, David Boublil외 2명|arXiv (Cornell University)|2016. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 16인용 수 36

한 줄 요약

이 논문은 블록 기반 압축 센싱(BCS)의 센싱 행렬과 비선형 복원을 완전히 연결된 신경망을 통해 동시 최적화하는 딥러닝 프레임워크를 제안한다. 25% 센싱 비율에서 기존 방법보다 200배 이상 빠른 계산 속도를 달성하며, PSNR에서 0.77 dB 향상되고, 전체 이미지 TV 기반 CS에 비해 1600배 빠른 성능을 보인다.

ABSTRACT

Compressed sensing (CS) is a signal processing framework for efficiently reconstructing a signal from a small number of measurements, obtained by linear projections of the signal. Block-based CS is a lightweight CS approach that is mostly suitable for processing very high-dimensional images and videos: it operates on local patches, employs a low-complexity reconstruction operator and requires significantly less memory to store the sensing matrix. In this paper we present a deep learning approach for block-based CS, in which a fully-connected network performs both the block-based linear sensing and non-linear reconstruction stages. During the training phase, the sensing matrix and the non-linear reconstruction operator are \emph{jointly} optimized, and the proposed approach outperforms state-of-the-art both in terms of reconstruction quality and computation time. For example, at a 25% sensing rate the average PSNR advantage is 0.77dB and computation time is over 200-times faster.

연구 동기 및 목표

• 고해상도 이미지 및 영상에 대해 전체 이미지 압축 센싱(CS)의 높은 메모리 및 계산 비용을 해결하기 위해.
• 블록 기반 CS(BCS)에서 센싱 행렬과 비선형 복원 연산자를 함께 학습하여 복원 품질과 속도를 향상시키기 위해.
• 고정된 변환을 사용하고 별도의 센싱/복원 단계를 가지는 전통적 BCS 방법의 한계를 극복하기 위해.
• 엔드 투 엔드 딥러닝이 PSNR 및 계산 시간 측면에서 고전적 및 최신 BCS 방법보다 뚜렷이 뛰어난 성능을 낼 수 있음을 입증하기 위해.

제안 방법

• 완전히 연결된 딥 뉴럴 네트워크를 사용하여 블록 기반 CS를 위한 선형 센싱 행렬과 비선형 복원 연산자를 함께 학습한다.
• 네트워크는 $16\times16$ 픽셀 크기의 이미지 패치를 처리하며, 센싱 변환을 적용한 후 다층 비선형 복원을 수행한다.
• 백프로파게이션을 통해 학습 도중 센싱 행렬과 복원 가중치를 함께 최적화하며, 수작업으로 만든 변환기가 필요 없다.
• 대규모 $5\times10^6$개의 이미지 패치 데이터셋을 사용하여 학습하며, 재구성된 패치와 원본 패치 간의 L1 손실을 사용한다.
• 블록 복원은 독립적으로 수행된 후 연결되고, 블로킹 아티팩트를 줄이기 위해 부드러움 필터를 통한 후처리가 수행된다.
• 아키텍처는 레이어 중복 요소(T)와 가변적인 은닉층 수(K)를 포함하며, 초모수는 분석 연구를 통해 최적화된다.

실험 결과

연구 질문

• RQ1 딥 뉴럴 네트워크가 블록 기반 압축 센싱에서 센싱 행렬과 복원 연산자를 함께 최적화하여 고전적 및 최신 기술을 능가할 수 있는가?
• RQ2 블록 크기, 네트워크 중복성, 은닉층 수의 선택이 BCS의 복원 품질과 계산 효율성에 어떤 영향을 미치는가?
• RQ3 엔드 투 엔드 딥러닝이 압축 이미지 복원에서 계산 시간을 크게 줄이고 PSNR 및 SSIM을 향상시킬 수 있는 정도는 어느 정도인가?
• RQ4 제안된 방법이 특히 낮은 센싱 비율에서 전체 이미지 총변위 기반 CS보다 뛰어난 성능을 낼 수 있는가?

주요 결과

• 25% 센싱 비율에서 제안된 방법은 평균 PSNR 32.15 dB, SSIM 0.976를 달성하며, 다음으로 우수한 방법(MH-MS-BCS-SPL)보다 PSNR에서 0.77 dB 향상되었다.
• R=0.25일 때 제안된 방법은 최신 기술인 MH-MS-BCS-SPL보다 200배 이상 빠른 속도를 보이며, $512\times512$ 이미지당 계산 시간이 0.80초였다.
• 동일한 이미지 크기와 센싱 비율에서 전체 이미지 총변위 기반 CS에 비해 1600배 빠른 속도를 기록했다. 이는 1675.09초가 소요된 것을 감안할 때 뚜렷한 향상이다.
• 블록 크기 $16\times16$, 중복 T=8, 두 개의 은닉 복원 레이어에서 최적의 성능을 달성했으며, 이는 분석 연구를 통해 입증되었다.
• 시각적 비교 결과, 모든 기준 방법에 비해 블로킹 아티팩트가 감소하고 세밀한 디테일의 보존이 뛰어난 우수한 이미지 품질을 보였다.
• 모든 센싱 비율(0.1에서 0.3)에 걸쳐 다양한 테스트 이미지인 'lena', 'barbara', 'cameraman', 'boats'에서 일관된 성능 향상을 유지했다.