[논문 리뷰] ConvCSNet: A Convolutional Compressive Sensing Framework Based on Deep Learning

Xiaotong Lu, Weisheng Dong외 3명|arXiv (Cornell University)|2018. 01. 31.

Sparse and Compressive Sensing Techniques참고 문헌 28인용 수 27

한 줄 요약

이 논문은 블록 단위 측정 방식 대신 학습 가능한 컨볼루션 필터를 사용하여 전체 이미지를 한 번에 감지하고 복원하는 딥러닝 기반의 컨볼루션 압축 센싱 프레임워크인 ConvCSNet을 제안한다. 엔드 투 엔드 훈련을 통해 감지 필터와 이중 브랜치 CNN 복원 네트워크를 동시에 최적화함으로써, 기존 방법 대비 블로킹 아티팩트가 현저히 감소하고 추론 속도가 최대 1,030배 빨라지며, 여러 데이터셋과 노이즈 수준에서 PSNR 및 시각적 품질 측면에서 최신 압축 센싱 기법들을 능가하는 뛰어난 복원 품질을 달성한다.

ABSTRACT

Compressive sensing (CS), aiming to reconstruct an image/signal from a small set of random measurements has attracted considerable attentions in recent years. Due to the high dimensionality of images, previous CS methods mainly work on image blocks to avoid the huge requirements of memory and computation, i.e., image blocks are measured with Gaussian random matrices, and the whole images are recovered from the reconstructed image blocks. Though efficient, such methods suffer from serious blocking artifacts. In this paper, we propose a convolutional CS framework that senses the whole image using a set of convolutional filters. Instead of reconstructing individual blocks, the whole image is reconstructed from the linear convolutional measurements. Specifically, the convolutional CS is implemented based on a convolutional neural network (CNN), which performs both the convolutional CS and nonlinear reconstruction. Through end-to-end training, the sensing filters and the reconstruction network can be jointly optimized. To facilitate the design of the CS reconstruction network, a novel two-branch CNN inspired from a sparsity-based CS reconstruction model is developed. Experimental results show that the proposed method substantially outperforms previous state-of-the-art CS methods in term of both PSNR and visual quality.

연구 동기 및 목표

• 블록 기반 압축 센싱(BCS) 방법에서 발생하는 독립적인 이미지 블록 처리로 인한 블로킹 아티팩트를 해결하기 위해.
• 기존 압축 센싱(CS) 프레임워크에서 전체 이미지 랜덤 감지 행렬의 높은 메모리 및 계산 비용을 극복하기 위해.
• 감지 및 복원의 공동 최적화를 수행하는 딥러닝 기반 CS 프레임워크를 개발하여 속도와 정확도를 향상시키기 위해.
• 스pars티 기반 CS 복원 모델을 영감으로 삼아 새로운 이중 브랜치 CNN 아키텍처를 설계하여 이미지 복원 성능을 향상시키기 위해.
• 시각적 품질을 손상시키지 않은 채 저비율 측정에서 실시간으로 고정밀도 이미지 복원을 달성하기 위해.

제안 방법

• 블록 단위 가우시안 랜덤 감지를 컨볼루션 레이어로 대체하여 학습 가능한 필터를 사용해 전체 이미지를 한 번의 연산으로 감지한다.
• 감지 연산은 공유된 작은 크기의 필터를 사용한 선형 컨볼루션으로 구현되어 메모리 사용량을 줄이고 계산 효율성을 높인다.
• 이중 브랜치 CNN을 설계하여 한 브랜치는 스파arsity 사전 지식을 모델링하고 다른 브랜치는 잔차 특징을 학습함으로써, 기존 스파arsity 기반 CS 솔버를 모방한다.
• 전체 네트워크를 엔드 투 엔드로 훈련하여 컨볼루션 감지 필터와 복원 네트워크 파라미터를 동시에 최적화한다.
• 큰 감지 행렬을 저장하지 않고 작은 학습 가능한 필터를 사용함으로써 메모리 효율성을 확보하고 표준 하드웨어에서의 구현을 가능하게 한다.
• 컨볼루션 이후의 서브샘플링을 통해 측정 차원을 감소시켜, 복원 압축 센싱 원칙을 유지하면서도 전체 이미지 복원을 가능하게 한다.

실험 결과

연구 질문

• RQ1 전체 이미지에 대해 블록 단위가 아닌 컨볼루션 신경망 프레임워크를 설계하여 블로킹 아티팩트를 제거할 수 있는가?
• RQ2 CNN의 엔드 투 엔드 훈련을 통해 감지 필터와 복원 네트워크를 동시에 최적화함으로써 복원 품질과 속도를 향상시킬 수 있는가?
• RQ3 스파arsity 기반 CS 모델의 도메인 지식을 딥러닝 아키텍처에 통합하면 순수하게 학습된 엔드 투 엔드 방법보다 성능이 향상되는가?
• RQ4 제안된 방법은 최신 최적화 기반 및 딥러닝 기반 CS 방법과 비교해 PSNR, 시각적 품질 및 추론 속도 측면에서 어떻게 성능을 내는가?
• RQ5 매우 낮은 측정 비율(예: 5%)에서도 제안된 프레임워크가 아티팩트를 피하면서도 높은 성능을 유지할 수 있는가?

주요 결과

• 노이즈 없는 조건에서 5% 측정 비율에서 BSD100 데이터셋에서 ConvCSNet은 PSNR 26.47 dB를 기록하여 다음으로 우수한 방법인 FCN-CS(0.55 dB)를 초월한다.
• 10% 측정 비율에서 BSD100에서 ConvCSNet은 PSNR 28.19 dB를 달성하여 D-AMP(27.66 dB)와 FCN-CS(27.54 dB)를 모두 앞선다.
• 10% 비율에서 노이즈 측정 조건에서도 ConvCSNet은 BSD100에서 PSNR 28.09 dB를 기록하여 D-AMP(23.72 dB)와 FCN-CS(27.29 dB)를 크게 앞선다.
• GPU에서 255×255 이미지를 0.08초 내에 복원하며, TV 기반 방법(82.47 s) 대비 1,030배 빠르고 D-AMP(60.79 s) 대비 760배 빠르다.
• 시각적 비교 결과, 5% 측정 비율에서도 다른 방법들이 심한 블로킹과 흐림을 보이는 반면, ConvCSNet은 아티팩트가 극히 적은 이미지를 생성한다.
• 아블레이션 연구 결과, 제안된 이중 브랜치 복원 네트워크가 필수적임을 확인하였으며, 이를 제거한 베이스라인 버전은 PSNR에서 최대 0.3 dB 낮은 성능을 보였다.