[논문 리뷰] Memory-Efficient Network for Large-scale Video Compressive Sensing

Ziheng Cheng, Bo Chen외 5명|arXiv (Cornell University)|2021. 03. 04.

Sparse and Compressive Sensing Techniques참고 문헌 51인용 수 8

한 줄 요약

이 논문은 대규모 영상 압축 센싱 복원을 위한 메모리 효율적이고 엔드 투 엔드로 복원 가능한 3D 합성곱 신경망인 RevSCI-net을 제안한다. 다중 그룹 복원 가능한 3D 합성곱을 활용함으로써, 고해상도 영상(예: 512×512×50)에 대한 훈련과 추론을 메모리 소비를 크게 줄이며 수행할 수 있게 되었으며, 50의 압축 비율에서 최신 기술 수준의 성능을 달성했다. 이는 실제 SCI 카메라 데이터를 포함한 다양한 시나리오에서 입증되었으며, 이는 대규모 문제를 처리할 수 있는 최초의 딥러닝 모델이다.

ABSTRACT

Video snapshot compressive imaging (SCI) captures a sequence of video frames in a single shot using a 2D detector. The underlying principle is that during one exposure time, different masks are imposed on the high-speed scene to form a compressed measurement. With the knowledge of masks, optimization algorithms or deep learning methods are employed to reconstruct the desired high-speed video frames from this snapshot measurement. Unfortunately, though these methods can achieve decent results, the long running time of optimization algorithms or huge training memory occupation of deep networks still preclude them in practical applications. In this paper, we develop a memory-efficient network for large-scale video SCI based on multi-group reversible 3D convolutional neural networks. In addition to the basic model for the grayscale SCI system, we take one step further to combine demosaicing and SCI reconstruction to directly recover color video from Bayer measurements. Extensive results on both simulation and real data captured by SCI cameras demonstrate that our proposed model outperforms previous state-of-the-art with less memory and thus can be used in large-scale problems. The code is at https://github.com/BoChenGroup/RevSCI-net.

연구 동기 및 목표

• 대규모 영상 압축 센싱(SCI)에서 딥러닝 기반 복원의 높은 메모리 및 계산 비용 문제를 해결하기 위해.
• 제한된 GPU 메모리 조건에서도 고해상도 영상 데이터(예: FHD 이상)에 대한 엔드 투 엔드 훈련과 추론을 가능하게 하기 위해.
• Bayer 필터링된 측정값에서 RGB 영상을 직접 복원할 수 있도록 디모자이싱과 SCI 복원을 하나의 엔드 투 엔드 네트워크로 통합하기 위해.
• 대규모 SCI 문제에서 GPU 메모리 소비를 최소화하면서도 최신 기술 수준의 복원 품질과 속도를 달성하기 위해.

제안 방법

• 역행 가능한 3D 합성곱 신경망(RevSCI-net)을 사용하여, 역전파 동안 활성화 값을 저장하지 않도록 하여 훈련 시 메모리 소비를 줄인다.
• 다중 그룹 역행 가능한 3D 합성곱을 활용하여 특징 표현을 향상시키면서도, 파라미터 공유와 역행가능한 변환을 통해 메모리 효율성을 유지한다.
• 단일 스탑샷 압축 측정값에서 3D 영상 볼륨(시공간 데이터)을 복원하기 위해 엔드 투 엔드로 훈련된 네트워크이다.
• 새로운 아키텍처가 디모자이싱과 SCI 복원을 하나의 네트워크로 통합하여, Bayer 필터링된 원시 측정값에서 직접 RGB 영상을 복원할 수 있도록 한다.
• 역행가능한 설계 덕분에 역전파 시 활성화 값을 저장하지 않아 훈련 중 메모리 프로파일이 크게 감소한다.
• 모델은 시뮬레이션된 데이터와 실제 SCI 데이터셋 모두에서 평가되었으며, 물리적 SCI 카메라로 촬영한 대규모 데이터(512×512×50)도 포함되어 있다.

실험 결과

연구 질문

• RQ1 딥러닝 기반 복원 방법이 대규모 압축 측정값에서 고품질 영상 복원을 달성하면서도 메모리 효율성을 유지할 수 있는가?
• RQ2 단일 엔드 투 엔드 네트워크에 디모자이싱과 SCI 복원을 통합할 경우 색상 영상 복원 성능에 어떤 영향을 미치는가?
• RQ3 역행가능한 3D CNN 아키텍처가 대규모 영상 SCI에서 복원 품질을 훼손하지 않고 메모리 소비를 얼마나 줄일 수 있는가?
• RQ4 제안된 방법이 실제 고해상도 SCI 데이터에서 기존 최신 기술 수준의 방법보다 복원 품질과 추론 속도 면에서 뛰어나게 성능을 냈는가?
• RQ5 단일 GPU를 사용하여 FHD 수준의 영상(1920×1080×24)에 대해 메모리 효율적인 아키텍처를 통해 훈련 및 배포하는 것이 가능한가?

주요 결과

• RevSCI-net는 512×512×50 실재 데이터셋에서 PSNR 33.84, SSIM 0.956을 기록하여 BIRNAT과 DeSCI를 모두 품질과 메모리 효율성 면에서 능가한다.
• 512×512×50 영상 복원 시 메모리 프로파일이 단지 1350 MB에 불과하여 BIRNAT의 48000 MB보다 크게 낮아, 단일 48GB GPU에서 훈련이 가능하다.
• 실제 데이터(예: Domino 및 Water Balloon)에서 RevSCI-net은 DeSCI(과도하게 부드러운)와 GAP-TV(노이즈가 많은)에 비해 더 선명한 운동 윤곽과 더 명확한 세부 정보를 생성한다.
• 1920×1080×24 영상 복원 시간은 12.46초로, DeSCI의 3.5시간 이상과 비교해 극적으로 빠르며, 더 작은 해상도에서는 몇 초 내로 완료된다.
• RevSCI-net는 FHD 수준의 SCI 데이터(1920×1080×24)를 단일 GPU에서 처리할 수 있는 최초의 엔드 투 엔드 딥러닝 모델이다. 이는 그 역행가능한 아키텍처 덕분이다.
• 제거 분석 결과, 역행가능한 블록 수를 늘릴수록 복원 품질이 향상되며, 그룹 수를 늘일수록 활성화 메모리 증가 없이도 특징 수준의 변환 능력이 향상됨을 확인했다.