[논문 리뷰] CSVideoNet: A Real-time End-to-end Learning Framework for High-frame-rate Video Compressive Sensing

Kai Xu, Fengbo Ren|arXiv (Cornell University)|2016. 12. 15.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 13

한 줄 요약

CSVideoNet는 반복적 재구성 과정을 생략하고 다중 속도 컨볼루션 신경망과 합성 순환 신경망을 통해 직접 역함수 매핑을 학습함으로써 실시간, 종단 간(end-to-end) 딥러닝 프레임워크를 제안한다. 이는 단일 GPU에서 100× 압축 비율에서 125 fps로 재구성할 수 있으며, PSNR 25 dB를 달성한다. 이는 기존 최고 성능 기술 대비 속도 면에서 세 배수 수준 향상되었고, 품질-압축 비율 트레이드오프를 크게 향상시킨다.

ABSTRACT

This paper addresses the real-time encoding-decoding problem for high-frame-rate video compressive sensing (CS). Unlike prior works that perform reconstruction using iterative optimization-based approaches, we propose a non-iterative model, named "CSVideoNet". CSVideoNet directly learns the inverse mapping of CS and reconstructs the original input in a single forward propagation. To overcome the limitations of existing CS cameras, we propose a multi-rate CNN and a synthesizing RNN to improve the trade-off between compression ratio (CR) and spatial-temporal resolution of the reconstructed videos. The experiment results demonstrate that CSVideoNet significantly outperforms the state-of-the-art approaches. With no pre/post-processing, we achieve 25dB PSNR recovery quality at 100x CR, with a frame rate of 125 fps on a Titan X GPU. Due to the feedforward and high-data-concurrency natures of CSVideoNet, it can take advantage of GPU acceleration to achieve three orders of magnitude speed-up over conventional iterative-based approaches. We share the source code at https://github.com/PSCLab-ASU/CSVideoNet.

연구 동기 및 목표

• 기존 반복적 방법이 실용적 사용에 적합하지 않을 정도로 느린 고프레임레트 영상 압축 센싱(Compressive Sensing, CS)의 실시간 복호화 병목 현상을 해결한다.
• 기존 CS 카메라의 한계를 극복하여 압축 비율(CR)과 공간-시간 해상도 간의 트레이드오프를 향상시킨다.
• 예측/후처리 없이 압축된 영상 측정치에서 원본 프레임으로 직접 매핑하는 종단 간 비반복적 딥러닝 프레임워크를 개발한다.
• 새로운 아키텍처를 통해 시간적 및 공간적 특징 학습을 통합하여 고압축 비율에서도 재구성 정밀도를 향상시킨다.
• 하드웨어 제약 환경에서 실시간 구현을 위한 GPU 가속 및 피드포워드 추론을 가능하게 한다.

제안 방법

• 다양한 해상도에서 계층적 공간적 특징을 추출하기 위해 다중 속도 컨볼루션 신경망을 제안하여 효율적인 압축과 높은 공간 해상도를 달성한다.
• 시간적 의존성과 움직임을 암묵적으로 추정하기 위해 합성 순환 신경망(LSTM)을 통합한다.
• 압축 측정치에서 원본 영상 프레임으로의 역함수 매핑을 단일 전방전파(forward pass)로 학습하는 종단 간 비반복적 딥러닝 신경망을 설계한다.
• 공간적 및 시간적 특징 추출 경로를 동시에 최적화하여 고압축 비율에서도 재구성 품질을 향상시킨다.
• 스pars티 피로우를 사용하지 않고 대량의 레이블 없는 영상 데이터로부터 직접 역함수 매핑을 학습함으로써 반복 최적화를 회피하는 데이터 기반, 스파arsity-프리 접근법을 채택한다.
• 딥러닝 아키텍처의 고데이터 동시성과 피드포워드 특성을 활용하여 GPU 가속을 통해 고처리량 추론을 가능하게 한다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 비반복 프레임워크는 고압축 비율에서도 고프레임레트 영상 CS의 실시간 재구성 성능를 달성할 수 있는가?
• RQ2 공동 공간-시간 특징 학습은 기존 방법 대비 압축 비율과 재구성 품질 트레이드오프를 어떻게 향상시키는가?
• RQ3 LSTM에 의한 암묵적 운동 추정은 특히 고압축 비율에서 재구성 정밀도를 얼마나 향상시키는가?
• RQ4 스pars티 피어를 사용하지 않고도 반복 최적화 기반 CS 방법보다 재구성 품질과 속도 면에서 우수한 성능를 달성할 수 있는가?
• RQ5 실제 고프레임레트 영상 촬영 환경에서 센서 노이즈에 대해 모델은 얼마나 강인한가?

주요 결과

• CSVideoNet는 Titan X GPU에서 100× 압축 비율에서 125 fps로 재구성하며 PSNR 25 dB를 달성하여 실시간 성능을 입증했다.
• 160×160 영상 프레임을 100× 압축 비율에서 8 ms(125 fps)에 재구성하며, D-AMP 및 MC-BCS와 같은 반복적 방법보다 세 배수 수준의 빠른 속도를 확보했다.
• LSTM 네트워크의 통합으로 더 큰 CNN만을 사용한 경우 대비 최대 4 dB의 PSNR 향상을 달성하여 시간적 모델링의 중요성을 입증했다.
• 100× 압축 비율에서 CSVideoNet는 PSNR 24.23 dB, SSIM 0.74를 기록하여 VCSNet 및 ReconNet을 포함한 모든 기준 모델을 능가했다.
• SNR 20 dB, 40 dB, 60 dB 수준에서 일관되게 높은 PSNR를 확보하여 노이즈에 대해 매우 강인한 성능를 유지했다.
• 성능 향상은 모델 크기 자체 때문이 아니라 공동 공간-시간 특징 학습 덕분이며, LSTM 없이 더 큰 CNN만을 사용한 경우 성능 향상이 미미했다.