[논문 리뷰] Video Compressive Sensing for Spatial Multiplexing Cameras using Motion-Flow Models

Aswin C. Sankaranarayanan, Lina Xu외 4명|arXiv (Cornell University)|2015. 03. 09.

Sparse and Compressive Sensing Techniques참고 문헌 43인용 수 1

한 줄 요약

이 논문은 공간 다중화 카메라를 위한 압축 감지 프레임워크인 CS-MUVI를 제안하며, 저해상도 영상 프리뷰에서 유도된 운동-유량 제약 조건을 활용하여 약 60× 압축에서도 고품질의 영상 복원을 가능하게 한다. 이는 프리뷰 계산을 위한 효율적인 감지 행렬을 설계하고, 볼록 최적화에서 운동 유량을 시공간 사전 정보로 사용하여 시간적 앨리어싱을 억제하고 표준 CS 방법보다 해상도를 향상시킨다.

ABSTRACT

Spatial multiplexing cameras (SMCs) acquire a (typically static) scene through a series of coded projections using a spatial light modulator (e.g., a digital micro-mirror device) and a few optical sensors. This approach finds use in imaging applications where full-frame sensors are either too expensive (e.g., for short-wave infrared wavelengths) or unavailable. Existing SMC systems reconstruct static scenes using techniques from compressive sensing (CS). For videos, however, existing acquisition and recovery methods deliver poor quality. In this paper, we propose the CS multi-scale video (CS-MUVI) sensing and recovery framework for high-quality video acquisition and recovery using SMCs. Our framework features novel sensing matrices that enable the efficient computation of a low-resolution video preview, while enabling high-resolution video recovery using convex optimization. To further improve the quality of the reconstructed videos, we extract optical-flow estimates from the low-resolution previews and impose them as constraints in the recovery procedure. We demonstrate the efficacy of our CS-MUVI framework for a host of synthetic and real measured SMC video data, and we show that high-quality videos can be recovered at roughly $60 imes$ compression.

연구 동기 및 목표

• 기존 공간 다중화 카메라(SMC)를 위한 압축 감지 시스템은 시간적 동적 특성을 간과하고 정적 장면을 가정함으로써 영상 품질이 열 劣하다는 문제를 해결한다.
• 영상 CS에서 운동 추정이 필요로 하는 프레임과 프레임이 운동 추정이 필요로 하는 '닭과 계란' 문제를 해결한다.
• 운동 유량을 사전 정보로 사용하여 저속도, 코딩된 투영으로부터 고해상도 영상 복원을 가능하게 하는 감지 및 복원 프레임워크를 개발한다.
• 저해상도 프리뷰와 고해상도 복원을 모두 지원하면서도 계산 효율성을 확보하는 감지 행렬을 설계한다.
• 실제 및 합성 SMC 영상 데이터에서 다양한 물체 속도, 조도 수준, 동적 물체 크기 변화에 대해 안정성을 입증한다.

제안 방법

• 저해상도 영상 프리뷰의 효율적 계산을 가능하게 하는 이산 사인 변환(DST) 기반 및 다중 척도 구조(DSS)를 활용한 새로운 감지 행렬 설계를 제안한다.
• 저해상도 프리뷰를 활용해 상용 알고리즘을 통해 운동 유량을 추정하고, 이를 볼록 최적화 프레임워크에 제약 조건으로 통합한다.
• 공간 및 시간 기울기에서의 희박성 조건을 강제하는 전반적 변동 기반 최적화 문제를 제안하며, 운동 유량을 구조적 사전 정보로 활용한다.
• 복원 과정에 운동 제약 조건을 통합하여 시간적 앨리어싱을 감소시키고 복원 정밀도를 향상시킨다.
• 두 단계 복원 파이프라인을 설계한다: 먼저 저해상도 프리뷰를 복원하고, 그 다음 운동 인식 정규화를 사용해 고해상도로 정밀화한다.
• 감지 행렬의 구조를 활용해 빠른 계산과 고해상도 영상에 대한 확장성을 확보한다.

실험 결과

연구 질문

• RQ1 공간 다중화 카메라에서 복소 측정치로부터 저해상도 영상 프리뷰를 효율적으로 계산할 수 있는가?
• RQ2 그러한 프리뷰에서 유도된 운동 유량 추정치는 압축 감지에서 고해상도 영상 복원을 어떻게 향상시키는가?
• RQ3 저속도 측정률을 가진 SMC의 영상 CS에서 운동 제약 조건이 시간적 앨리어싱을 어느 정도 감소시킬 수 있는가?
• RQ4 제안된 프레임워크는 다양한 물체 속도, 조도 수준, 동적 물체 크기 변화에서 어떻게 성능을 발휘하는가?
• RQ5 장면의 동적 특성에 대한 사전 지식 없이도 다중 척도 감지 행렬을 설계해 프리뷰 해상도의 유연성을 확보할 수 있는가?

주요 결과

• CS-MUVI 프레임워크는 약 60× 압축에서도 고품질 영상 복원을 달성하며, 표준 CS 방법보다 뚜렷한 성능 향상을 보인다.
• CS-MUVI를 사용한 복원 영상에서는 측정 수가 제한되어 있어도 2배 이상의 다운샘플링 해상도를 초월하고, 거의 전체 해상도에 가까운 해상도를 확보한다.
• 저해상도 프리뷰에서 유도된 운동 유량 추정치를 복원 과정에 통합함으로써 시간적 앨리어싱을 효과적으로 억제한다.
• 물체 속도가 다양할 경우에도 성능이 안정적이며, 최고 속도에서 조차도 유의미한 품질 저하와 소수의 아티팩트를 보인다.
• 동적 물체 크기가 시야의 1/4에서 1/2에 이르는 넓은 범위에서 안정적인 복원 성능을 유지한다.
• 저조도 조건에서도 유연한 성능 저하를 보이며, 빛이 줄어든 수준에서도 미미한 아티팩트만 발생한다.