[论文解读] A Picture is worth a Billion Bits: Real-Time Image Reconstruction from Dense Binary Pixels

Tal Remez, Or Litany+1 more|arXiv (Cornell University)|Oct 15, 2015

Photoacoustic and Ultrasonic Imaging被引用 3

一句话总结

该论文提出了一种用于密集二值像素传感器的实时图像重建算法，结合最大似然数据拟合与稀疏合成先验，以克服伪影和高计算成本问题。该方法实现了高效的硬件友好型重建，在合成数据和模拟真实世界数据的过采样二值测量中，实现了高质量的HDR图像。

ABSTRACT

The pursuit of smaller pixel sizes at ever increasing resolution in digital image sensors is mainly driven by the stringent price and form-factor requirements of sensors and optics in the cellular phone market. Recently, Eric Fossum proposed a novel concept of an image sensor with dense sub-diffraction limit one-bit pixels jots, which can be considered a digital emulation of silver halide photographic film. This idea has been recently embodied as the EPFL Gigavision camera. A major bottleneck in the design of such sensors is the image reconstruction process, producing a continuous high dynamic range image from oversampled binary measurements. The extreme quantization of the Poisson statistics is incompatible with the assumptions of most standard image processing and enhancement frameworks. The recently proposed maximum-likelihood (ML) approach addresses this difficulty, but suffers from image artifacts and has impractically high computational complexity. In this work, we study a variant of a sensor with binary threshold pixels and propose a reconstruction algorithm combining an ML data fitting term with a sparse synthesis prior. We also show an efficient hardware-friendly real-time approximation of this inverse operator.Promising results are shown on synthetic data as well as on HDR data emulated using multiple exposures of a regular CMOS sensor.

研究动机与目标

• 解决在亚衍射极限的一比特像素传感器中，从过采样二值测量重建高动态范围（HDR）图像的挑战。
• 克服现有最大似然（ML）方法存在的图像伪影和高计算复杂度的局限性。
• 开发一种既准确又适合实时硬件实现的重建框架。

提出的方法

• 将最大似然（ML）数据拟合项与稀疏合成先验相结合，构建图像结构建模的重建问题。
• 利用稀疏合成表示对解进行正则化，以在重建输出中促进自然图像特征。
• 推导出一种高效的优化算法，平衡数据保真度与稀疏性，实现快速收敛。
• 引入逆算子的硬件友好型近似，以实现在嵌入式系统上的实时处理。
• 采用邻近分裂法高效求解非光滑优化问题。
• 在合成数据和标准CMOS传感器多曝光模拟的HDR数据上验证了该方法。

实验结果

研究问题

• RQ1 结合ML与稀疏合成先验的重建算法是否能减少二值图像重建中的伪影？
• RQ2 如何在保持重建质量的前提下降低计算复杂度，以实现实时部署？
• RQ3 与标准ML方法相比，该方法在伪影抑制和速度方面优势有多大？
• RQ4 该方法能否有效从过采样二值测量中重建HDR图像？
• RQ5 当通过多曝光模拟HDR时，该算法在真实世界数据上的泛化能力如何？

主要发现

• 与标准最大似然重建相比，所提方法显著减少了图像伪影，产生了视觉上更优的结果。
• 通过逆算子的高效硬件友好型近似，该算法实现了实时性能。
• 在合成数据和模拟HDR数据上的定量评估证实，其重建质量优于基线ML方法。
• 稀疏合成先验有效促进了自然图像结构，提升了边缘和纹理保真度。
• 该方法对极端量化具有鲁棒性，能够从一比特像素数据中实现高动态范围重建。
• 其硬件友好型设计使得在嵌入式系统中实现实际部署成为可能，克服了以往的计算瓶颈。