[논문 리뷰] A Picture is worth a Billion Bits: Real-Time Image Reconstruction from Dense Binary Pixels

Tal Remez, Or Litany외 1명|arXiv (Cornell University)|2015. 10. 15.

Photoacoustic and Ultrasonic Imaging인용 수 3

한 줄 요약

이 논문은 고밀도 이진 픽셀 센서를 위한 실시간 이미지 재구성 알고리즘을 제안하며, 최대우도 데이터 피팅과 희소 합성 사전을 조합하여 잡음과 높은 계산 비용 문제를 해결한다. 이 방법은 효율적인 하드웨어 친화적 재구성을 가능하게 하여 합성 및 실제 환경을 에뮬레이트한 데이터에서 고품질의 HDR 이미지를 얻는 데 성공한다.

ABSTRACT

The pursuit of smaller pixel sizes at ever increasing resolution in digital image sensors is mainly driven by the stringent price and form-factor requirements of sensors and optics in the cellular phone market. Recently, Eric Fossum proposed a novel concept of an image sensor with dense sub-diffraction limit one-bit pixels jots, which can be considered a digital emulation of silver halide photographic film. This idea has been recently embodied as the EPFL Gigavision camera. A major bottleneck in the design of such sensors is the image reconstruction process, producing a continuous high dynamic range image from oversampled binary measurements. The extreme quantization of the Poisson statistics is incompatible with the assumptions of most standard image processing and enhancement frameworks. The recently proposed maximum-likelihood (ML) approach addresses this difficulty, but suffers from image artifacts and has impractically high computational complexity. In this work, we study a variant of a sensor with binary threshold pixels and propose a reconstruction algorithm combining an ML data fitting term with a sparse synthesis prior. We also show an efficient hardware-friendly real-time approximation of this inverse operator.Promising results are shown on synthetic data as well as on HDR data emulated using multiple exposures of a regular CMOS sensor.

연구 동기 및 목표

• 서브 분해능 한계 이내의 1비트 픽셀 센서에서 과표본화된 이진 측정치로부터 고역동 범위(HDR) 이미지를 재구성하는 데 도전하는 것.
• 이미지 잡음과 높은 계산 복잡도 문제로 어려움을 겪는 기존 최대우도(ML) 방법의 한계를 극복하는 것.
• 정확성과 실시간 하드웨어 구현에 적합한 재구성 프레임워크를 개발하는 것.

제안 방법

• 이미지 구조를 모델링하기 위해 최대우도(ML) 데이터 피팅 항과 희소 합성 사전을 조합한 재구성 문제를 수립한다.
• 해당 솔루션을 정규화하기 위해 희소 합성 표현을 사용하여 재구성된 출력에서 자연스러운 이미지 특성을 촉진한다.
• 빠른 수렴을 위해 데이터 적합성과 희소성 간의 균형을 맞추는 효율적인 최적화 알고리즘을 유도한다.
• 임베디드 시스템에서 실시간 처리를 가능하게 하기 위해 역 연산자의 하드웨어 친화적인 근사치를 도입한다.
• 비미분 가능 최적화 문제를 효율적으로 해결하기 위해 프록시 스플리팅 방법을 활용한다.
• 합성 데이터와 표준 CMOS 센서의 다중 노출에서 에뮬레이트한 HDR 데이터를 대상으로 접근 방식을 검증한다.

실험 결과

연구 질문

• RQ1 최대우도와 희소 합성 사전을 조합한 재구성 알고리즘이 이진 이미지 재구성에서 잡음을 줄일 수 있는가?
• RQ2 실시간 구현을 위해 재구성 품질을 유지하면서 계산 복잡도를 어떻게 줄일 수 있는가?
• RQ3 제안된 방법이 표준 최대우도 방법에 비해 잡음 억제 및 속도 측면에서 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 이 방법은 과표본화된 이진 측정치로부터 HDR 이미지를 효과적으로 재구성할 수 있는가?
• RQ5 다중 노출을 에뮬레이팅하여 실제 환경 데이터에 대해 알고리즘이 얼마나 잘 일반화되는가?

주요 결과

• 기존 최대우도 재구성 방식에 비해 제안된 방법이 이미지 잡음을 크게 감소시켜 빌드된 결과의 시각적 품질이 뛰어나다.
• 역 연산자의 효율적인 하드웨어 친화적 근사치 덕분에 알고리즘이 실시간 성능을 달성한다.
• 합성 및 에뮬레이트된 HDR 데이터에 대한 정량적 평가 결과, 기준 최대우도 방법에 비해 재구성 품질이 향상됨을 확인하였다.
• 희소 합성 사전가 자연스러운 이미지 구조를 효과적으로 촉진하여 윤곽선과 질감의 정확도를 향상시킨다.
• 극도의 양자화에 대해 강건한 성능을 보이며, 1비트 픽셀 데이터로부터도 고역동 범위 재구성을 가능하게 한다.
• 하드웨어 친화적인 설계 덕분에 기존의 계산 병목 현상을 해결하고 임베디드 시스템에 실용적으로 구현 가능하다.