[论文解读] FlatCam: Thin, Bare-Sensor Cameras using Coded Aperture and Computation

M. Salman Asif, Ali Ayremlou+3 more|arXiv (Cornell University)|Sep 1, 2015

Optical measurement and interference techniques参考文献 33被引用 67

一句话总结

FlatCam 提出了一种超薄、无透镜的相机，其采用在裸露图像传感器上方仅数毫米处的编码孔径掩膜，每个传感器像素记录场景光的线性组合。通过求解逆问题进行计算重建，可实现比同等厚度的透镜式相机高约100倍的集光量，原因在于更大的传感器面积和优化的掩膜设计。

ABSTRACT

FlatCam is a thin form-factor lensless camera that consists of a coded mask placed on top of a bare, conventional sensor array. Unlike a traditional, lens-based camera where an image of the scene is directly recorded on the sensor pixels, each pixel in FlatCam records a linear combination of light from multiple scene elements. A computational algorithm is then used to demultiplex the recorded measurements and reconstruct an image of the scene. FlatCam is an instance of a coded aperture imaging system; however, unlike the vast majority of related work, we place the coded mask extremely close to the image sensor that can enable a thin system. We employ a separable mask to ensure that both calibration and image reconstruction are scalable in terms of memory requirements and computational complexity. We demonstrate the potential of the FlatCam design using two prototypes: one at visible wavelengths and one at infrared wavelengths.

研究动机与目标

• 解决在微型化相机时保持集光量的挑战，因为传统透镜式设计在小型化时会因孔径减小而导致集光量下降。
• 通过在传感器附近用编码掩膜替代透镜，克服超薄外形与图像质量之间的权衡。
• 通过最大化传感器面积并使用可分离掩膜以降低计算复杂度，实现在超薄设备中实现高集光量。
• 通过可见光和红外原型机展示可行性，实现接近实时的重建。
• 通过将厚度与孔径大小解耦，实现相比微型透镜相机更优的集光效率。

提出的方法

• 在传统图像传感器上方0.5毫米处使用二值编码掩膜，调制来自场景的光线，在传感器上形成多路复用的测量信号。
• 将传感器响应建模为线性系统，其中每个像素通过掩膜图案积分光线，由线性算子 H 表示。
• 采用可分离掩膜设计，以确保在标定和重建过程中内存与计算的可扩展性。
• 应用奇异值分解（SVD）求解逆问题，从多路复用的传感器测量中重建图像。
• 使用市售传感器和掩膜，掩膜在独立的晶圆上制造并键合至传感器，以确保可制造性。
• 优化掩膜图案以最小化重建过程中的噪声放大，并提升空间分辨率。

实验结果

研究问题

• RQ1 通过在传感器附近使用编码孔径替代光学系统，无透镜相机是否能在保持超薄外形的同时实现高集光量？
• RQ2 在无透镜成像系统中，编码掩膜与传感器之间的距离在多大程度上影响角分辨率和空间分辨率？
• RQ3 计算重建在多大程度上可以补偿多路复用编码孔径成像系统中空间分辨率的损失？
• RQ4 可分离掩膜设计是否能实现无透镜相机中大型传感器阵列的可扩展标定与重建？
• RQ5 FlatCam 相比相同厚度的传统微型透镜相机，其可实现的集光量优势有多大？

主要发现

• FlatCam 原型机由于大尺寸传感器面积和保持高有效数值孔径的掩膜，集光量比同等厚度的透镜式相机高出约100倍。
• 可见光原型机实现接近实时的运行，重建速率约为10 fps，从拍摄到显示的延迟约为100 ms。
• 可见光原型机的 TWR（厚度与宽度之比）约为0.075，远低于典型透镜式相机，从而实现更优的集光性能。
• 采用可分离掩膜确保了标定与重建的可扩展性，显著降低了内存与计算复杂度。
• 重建过程中的噪声放大是固有的，但可通过精心设计掩膜图案进行控制，尽管高频空间成分仍受限于线性系统的条件数。
• 该系统在可见光和短波红外（SWIR）波段均展示出可行性，SWIR 原型机中掩膜与传感器间距为5 mm。