[논문 리뷰] Compressive Coded Aperture Keyed Exposure Imaging with Optical Flow Reconstruction

Zachary T. Harmany, Roummel F. Marcia외 1명|arXiv (Cornell University)|2013. 06. 26.

Photoacoustic and Ultrasonic Imaging참고 문헌 56인용 수 6

한 줄 요약

이 논문은 압축 영상 촬영 시스템을 제안하며, 코딩된 조리개와 열쇠가 붙은 노출을 사용하여 높은 시간 해상도, 광자 효율성, 낮은 물리적 면적을 실현한다. 광학 흐름 모델링과 双규모 마스크를 활용하여 제한된 측정값에서 이론적 보장을 갖는 제한된 이sovropic 성질(Restricted Isometry Property, RIP)을 통해 빠르고 정확한 복원을 달성한다. 이는 낮은 측정값에서도 고품질 영상 복원을 가능하게 한다.

ABSTRACT

This paper describes a coded aperture and keyed exposure approach to compressive video measurement which admits a small physical platform, high photon efficiency, high temporal resolution, and fast reconstruction algorithms. The proposed projections satisfy the Restricted Isometry Property (RIP), and hence compressed sensing theory provides theoretical guarantees on the video reconstruction quality. Moreover, the projections can be easily implemented using existing optical elements such as spatial light modulators (SLMs). We extend these coded mask designs to novel dual-scale masks (DSMs) which enable the recovery of a coarse-resolution estimate of the scene with negligible computational cost. We develop fast numerical algorithms which utilize both temporal correlations and optical flow in the video sequence as well as the innovative structure of the projections. Our numerical experiments demonstrate the efficacy of the proposed approach on short-wave infrared data.

연구 동기 및 목표

• 최소한의 물리적 하드웨어로 압축 영상 촬영에서 높은 시간 해상도와 광자 효율성을 달성하는 데 도전한다.
• 기존의 코딩된 조리개 및 열쇠가 붙은 노출 방법의 한계를 극복하기 위해 두 기술을 통합한 통합된 압축 감지 프레임워크에 통합한다.
• 재구성 과정에서 시간적 상관관계와 광학 흐름 모델을 활용하여 빠르고 정확한 영상 재구성을 가능하게 한다.
• 거의 계산 비용이 들지 않는 근사적인 해상도의 장면 추정을 가능하게 하는 이중 규모 마스크( dual-scale masks, DSMs)를 개발한다.
• 제안된 측정 행렬에 대해 제한된 이sovropic 성질(Restricted Isometry Property, RIP)을 사용한 재구성 품질에 대한 이론적 보장을 제공한다.

제안 방법

• 압축 감지 프레임워크를 설계하여 코딩된 조리개와 열쇠가 붙은 노출을 결합함으로써 영상 프레임을 소수의 측정값으로 다중화한다.
• 제한된 이sovropic 성질(Restricted Isometry Property, RIP)을 만족시키기 위해 무작위 위상 마스크에서 유도된 토플리츠 구조 측정 행렬을 사용하여 안정적인 복원을 보장한다.
• 영상의 블록으로 다운샘플링하고 저해상도 마스크를 사용하여 블록 평균 강도를 추정함으로써 근사 재구성을 가능하게 하는 이중 규모 마스크( dual-scale masks, DSMs)를 도입한다.
• 시간적 일관성을 활용하기 위해 광학 흐름 제약 조건을 포함한 볼록 최적화 문제를 수립한다.
• 시간적 상관관계, 광학 흐름, 그리고 투영의 구조적 특성을 동시에 활용하는 빠른 수치 알고리즘을 개발하여 효율적인 재구성을 실현한다.
• 공간적 빛 조절 장치(Spatial Light Modulators, SLMs)를 사용하여 물리적으로 실현 가능한 플랫폼에서 코딩 마스크와 열쇠가 붙은 노출을 구현한다.

실험 결과

연구 질문

• RQ1 코딩된 조리개와 열쇠가 붙은 노출을 사용하는 압축 영상 촬영 시스템이 낮은 물리적 면적에서 높은 시간 해상도와 광자 효율성을 달성할 수 있는가?
• RQ2 제안된 측정 행렬에 대해 제한된 이sovropic 성질(Restricted Isometry Property, RIP)을 어떻게 확립할 수 있으며, 이는 재구성 품질에 대한 이론적 보장을 어떻게 보장하는가?
• RQ3 이중 규모 마스크는 거의 계산 비용이 들지 않는 근사 해상도의 영상 시퀀스 추정을 가능하게 하는가? 그리고 이는 재구성 효율을 어떻게 향상시키는가?
• RQ4 광학 흐름 모델링은 제한된 측정값을 가진 압축 영상 시스템에서 재구성 정확도를 얼마나 향상시킬 수 있는가?
• RQ5 제안된 알고리즘이 실세계의 단파적외선 영상 데이터에서 어떻게 작동하는가? 재구성 품질과 계산 비용 사이의 상호 교환 관계는 어떠한가?

주요 결과

• 제안된 측정 행렬은 높은 확률로 제한된 이sovropic 성질(Restricted Isometry Property, RIP)을 만족하여 소수의 압축 측정값에서 안정적이고 강건한 영상 재구성을 보장한다.
• 이중 규모 마스크( dual-scale masks, DSMs)는 전체 재구성과 비교해 거의 계산 비용이 들지 않는 근사 해상도의 영상 시퀀스 추정을 가능하게 하여 빠른 初期 추정을 제공한다.
• 광학 흐름 제약 조건을 포함한 재구성 알고리즘은 영상 시퀀스의 시간적 상관관계를 활용함으로써 복원 정확도를 크게 향상시킨다.
• 단파적외선 데이터에 대한 수치 실험은 본 방법의 유효성을 입증하며, 낮은 노이즈 증폭과 함께 소수의 측정값에서도 고품질 영상 재구성을 가능하게 한다.
• 문제의 본질적 희소성과 시간적 구조를 활용한 구조적 행렬과 최적화 기법 덕분에 빠른 재구성 속도를 달성한다.
• 초기 추정의 잔차가 작으며, 매끄러운 영상 시퀀스에서 에너지 분포의 특성으로 인해 재구성 오차의 이阶 항이 예상적으로 작다.