[논문 리뷰] LiSens --- A Scalable Architecture for Video Compressive Sensing

Jian Wang, Mohit Gupta외 1명|arXiv (Cornell University)|2015. 03. 14.

Optical Coherence Tomography Applications참고 문헌 21인용 수 6

한 줄 요약

LiSens는 기존 단일 픽셀 카메라의 단일 픽셀 검출기를 1차원 선형 센서로 대체하는 새로운 압축 감지 아키텍처를 제안한다. 이로 인해 측정 속도가 최대 1 MHz에 도달하며 기존 SPC보다 약 50배 빠르게 되어 저비용·저해상도 센서를 사용함에도 불구하고 영상 속도·메가픽셀 해상도 이미징을 구현한다. 이 설계는 화면 속도의 한계를 SLM에서 센서 읽기 속도로 옮기며, 희박성 기반 복원을 통해 고속·고해상도 영상 감지를 가능하게 한다.

ABSTRACT

The measurement rate of cameras that take spatially multiplexed measurements by using spatial light modulators (SLM) is often limited by the switching speed of the SLMs. This is especially true for single-pixel cameras where the photodetector operates at a rate that is many orders-of-magnitude greater than the SLM. We study the factors that determine the measurement rate for such spatial multiplexing cameras (SMC) and show that increasing the number of pixels in the device improves the measurement rate, but there is an optimum number of pixels (typically, few thousands) beyond which the measurement rate does not increase. This motivates the design of LiSens, a novel imaging architecture, that replaces the photodetector in the single-pixel camera with a 1D linear array or a line-sensor. We illustrate the optical architecture underlying LiSens, build a prototype, and demonstrate results of a range of indoor and outdoor scenes. LiSens delivers on the promise of SMCs: imaging at a megapixel resolution, at video rate, using an inexpensive low-resolution sensor.

연구 동기 및 목표

• 공간 다중화 카메라(SMC), 특히 단일 픽셀 카메라(SPC)에서 SLM의 스위칭 속도로 인해 제한되는 화면 속도 문제를 해결하기 위해.
• SMC에서 센서 해상도와 측정 속도 사이의 최적의 트레이드오���을 규명하여, 수천 픽셀을 초과해 해상도를 높여도 화면 속도 향상에 기여하지 않는다는 점을 밝혀내기 위해.
• 고속 측정 및 고공간 해상도를 달성할 수 있는 확장 가능하고 저비용의 영상 아키텍처를 설계하기 위해.
• 단일 픽셀 검출기를 1D 선형 센서로 교체함으로써 저비용·저해상도 센서를 사용해도 메가픽셀 해상도에서 영상 속도 이미징이 가능하다는 것을 입증하기 위해.

제안 방법

• LiSens 아키텍처는 단일 광검출기 대신 1차원 선형 어레이(선형 센서)를 사용하며, 각 센서 픽셀이 DMD의 마이크로미러 행에 광학적으로 대응한다.
• 시스템은 DMD를 통해 공간 다중화 패턴을 투사하고 선형 센서에서 시간에 따라 빛을 적분함으로써 코딩된 선적분을 측정한다.
• 광학 설계는 선형 센서의 각 픽셀이 DMD의 해당 행에 대응하는 이미지 강도의 가중합을 측정하도록 하여, 공간 다중화를 인코딩한 측정 행렬 A를 통해 압축 감지를 가능하게 한다.
• 이 방법은 영상 도메인의 희박성에 기반하며, 3D 총변동(TV)과 운동 흐름 사전 지식을 활용해 과소표본 측정에서 고품질 영상 복원을 수행한다.
• 시스템은 화면 속도를 SLM 스위칭 속도와 분리함으로써 고속 측정 속도를 달성하며, 이제는 선형 센서의 읽기 속도가 새로운 한계가 된다.
• 실내 및 실외 환경에서 다양한 운동과 노이즈 수준을 가진 시나리오에서 검증된 실험용 랩 프로토타입을 DMD와 1024픽셀 선형 센서를 사용해 제작했다.

실험 결과

연구 질문

• RQ1 공간 다중화 카메라에서 측정 속도를 최대화하는 데 최적의 센서 픽셀 수는 얼마인가?
• RQ2 단일 픽셀 검출기를 1D 선형 센서로 교체하면 압축 감지 카메라의 측정 속도가 크게 향상되는가?
• RQ3 압축 감지 기반으로 저비용·저해상도 센서를 사용해 고해상도·영상 속도 영상 촬영을 어느 정도 달성할 수 있는가?
• RQ4 3D TV 및 운동 흐름과 같은 시공간 사전 지식은 과소표본 요인을 높일 경우 복원 품질에 어떻게 기여하는가?
• RQ5 LiSens 아키텍처는 비가시파장 영역에서도 저비용을 유지하면서 전체 프레임 센서와 비교해 영상 속도 성능을 달성할 수 있는가?

주요 결과

• LiSens는 거의 1 MHz에 이르는 측정 속도를 달성했으며, 이는 기존 단일 픽셀 카메라(SPC)의 20 kHz 제한보다 약 50배 빠른 것이다.
• 프로토타입은 1024×768 해상도에서 5–10 프레임/초로 성공적으로 촬영하여 메가픽셀 해상도에서 영상 속도 압축 감지 성능을 입증했다.
• 8배 과소표본 요인에서 LiSens는 7.4배 과소표본에서 SPC보다 더 높은 복원 품질을 제공했으며, 이는 해상도 증가에 따라 영상의 희박성이 비선형적으로 감소하기 때문이다.
• 회전하는 베이비 토끼와 같은 동적 영상에서는 3D 총변동 사전 지식과 중앙값 필터링을 활용해 9 fps에서 공간 해상도를 유지한 채 영상 복원에 성공했다.
• 노이즈 수준이 높은 실외 영상에서는 복원 품질이 떨어졌으며, 이는 도전적인 조건에서 더 강력한 사전 지식(예: 운동 흐름 모델)이 필요함을 시사한다.
• 선형 센서 설계는 화면 속도의 한계를 SLM에서 센서 읽기 속도로 옮기며, 고속·확장 가능한 압축 감지 영상 촬영을 가능하게 하며 고속 SLM이 필요하지 않다.