[논문 리뷰] FPA-CS: Focal Plane Array-based Compressive Imaging in Short-wave Infrared

Huaijin Chen, M. Salman Asif외 2명|arXiv (Cornell University)|2015. 04. 16.

Sparse and Compressive Sensing Techniques참고 문헌 33인용 수 8

한 줄 요약

이 논문은 단일 픽셀 카메라(SPC)를 64×64개로 병렬화한 FPA-CS를 제안하며, 이는 단일 픽셀 카메라의 측정 속도를 높여 근적외선(SWIR) 영역에서 메가픽셀 해상도의 비디오 속도 영상 촬영을 가능하게 한다. 병렬 압축 측정과 3D 총변동성 재구성 기법을 활용함으로써, 기존 단일 픽셀 카메라 대비 측정 속도가 4096배 향상되어 저비용으로 실시간 고해상도 SWIR 영상 촬영이 가능하다.

ABSTRACT

Cameras for imaging in short and mid-wave infrared spectra are significantly more expensive than their counterparts in visible imaging. As a result, high-resolution imaging in those spectrum remains beyond the reach of most consumers. Over the last decade, compressive sensing (CS) has emerged as a potential means to realize inexpensive short-wave infrared cameras. One approach for doing this is the single-pixel camera (SPC) where a single detector acquires coded measurements of a high-resolution image. A computational reconstruction algorithm is then used to recover the image from these coded measurements. Unfortunately, the measurement rate of a SPC is insufficient to enable imaging at high spatial and temporal resolutions. We present a focal plane array-based compressive sensing (FPA-CS) architecture that achieves high spatial and temporal resolutions. The idea is to use an array of SPCs that sense in parallel to increase the measurement rate, and consequently, the achievable spatio-temporal resolution of the camera. We develop a proof-of-concept prototype in the short-wave infrared using a sensor with 64$ imes$ 64 pixels; the prototype provides a 4096$ imes$ increase in the measurement rate compared to the SPC and achieves a megapixel resolution at video rate using CS techniques.

연구 동기 및 목표

• 단일 픽셀 카메라(SPC)의 낮은 측정 속도로 인해 제한되는 고해상도, 비디오 속도의 SWIR 영상 촬영 문제를 해결하기 위해.
• InGaAs와 같은 고비용 재료로 제작되는 고해상도 SWIR 센서의 높은 가격 문제를 해결하기 위해.
• 압축 측정 원리에 기반한 확장 가능하고 비용 효율적인 기존 SWIR 카메라의 대안을 개발하기 위해.
• 압축 측정(CS) 아키텍처에서 공간-대역폭 제품의 불일치를 균형 잡아 공간-시간 해상도를 향상시키기 위해.
• SWIR 대역에서 메가픽셀 영상의 비디오 속도 재구성 기능을 갖춘 기능성 프로토타입을 구현하기 위해.

제안 방법

• FPA-CS 아키텍처는 64×64개의 단일 픽셀 센서로 구성된 포커스 평면 어레이를 사용하며, 각 센서는 독립적인 SPC로 기능하여 병렬로 압축 측정을 획득한다.
• 어레이의 각 센서는 DMD 공간 광조절 장치에서 유도된 프로그래머블 조절 마스크를 사용하여 장면 밝기의 코딩된 선형 조합을 측정한다.
• 4096개의 SPC가 결합하여 형성된 시스템 행렬은 안정적이고 강건한 영상 재구성 보장을 위해 잘 조건화되어 있다.
• 공간-시간 레이턴시를 활용하기 위해 3D 총변동성(3D-TV) 최적화 문제를 사용하여 영상 시퀀스를 재구성한다.
• 두 가지 조절 패턴인 헤이덤아드 및 무작위 이진 패턴을 평가하였으며, 두 경우 모두 50%의 광통과 및 거의 동일한 재구성 품질을 달성하였다.
• 센서-DMD 정렬 불일치로 인한 운동 및 블록형 아티팩트를 억제하기 위해 재구성 후 3D 중앙값 필터를 적용하였다.

실험 결과

연구 질문

• RQ1 단일 픽셀 압축 센서의 병렬 어레이가 단일 SPC보다 상당히 높은 측정 속도를 달성할 수 있는가?
• RQ2 DMD와 센서 어레이 간의 공간-대역폭 제품 불일치가 압축 영상 촬영 성능에 미치는 영향은 무엇인가?
• RQ3 3D 총변동성 정규화가 압축 측정에서 고품질의 비디오 속도 SWIR 영상을 효과적으로 재구성할 수 있는가?
• RQ4 조절 마스크 설계(헤이덤아드 대 무작위 이진)가 재구성 정밀도와 신호 대 잡음비(SNR)에 미치는 영향은 무엇인가?
• RQ5 FPA-CS가 기존 SWIR 영상 촬영 시스템의 비용 및 해상도 제약을 어느 정도 극복할 수 있는가?

주요 결과

• FPA-CS 프로토타입은 단일 픽셀 카메라 대비 측정 속도가 4096배 향상되어 비디오 속도 촬영이 가능하다.
• 시스템은 근적외선 스펙트럼에서 비디오 속도로 1메가픽셀 영상을 성공적으로 재구성하였다.
• 영상 프레임당 T=16 및 T=22를 사용할 경우, 각각 32fps 및 21.8fps의 효과적 비디오 속도를 달성하였으며, 이는 압축 인자 α=16 및 α=11.6에 해당한다.
• 헤이덤아드 및 무작위 이진 조절 마스크 모두 거의 동일한 재구성 품질을 보였으며, 두 경우 모두 50%의 광통과를 달성하였다.
• 날카로운 에지에서의 운동 아티팩트와 블록형 구조적 아티팩트가 관찰되었지만, 3D 중앙값 필터를 적용함으로써 크게 감소되었다.
• 시스템은 장면의 복잡성에 의해 제한되며, 폭발하는 풍선과 같은 매우 동적인 장면는 낮은 공간-시간 레이턴시로 인해 효과적으로 재구성되지 못한다.