[论文解读] Computational multi-spectral video imaging

Peng 鹏 Wang 王, Rajesh Menon|Figshare|Jan 1, 2017

Optical Polarization and Ellipsometry被引用 4

一句话总结

本文提出了一种紧凑型、单次曝光的计算多光谱视频相机，采用微结构衍射滤波器将光谱信息在标准图像传感器上进行空间编码。通过校准后的正则化反演方法，该系统在可见光波段（430–718 nm）实现了9.6 nm的光谱分辨率，空间分辨率提升超过30%，支持可见光-红外成像，并可通过软件定义实现光谱分辨率与视场之间的可调性，且无需硬件更改。

ABSTRACT

Multi-spectral imagers reveal information unperceivable to humans and conventional cameras. Here, we demonstrate a compact single-shot multi-spectral video-imaging camera by placing a micro-structured diffractive filter in close proximity to the image sensor. The diffractive filter converts spectral information to a spatial code on the sensor pixels. Following a calibration step, this code can be inverted via regularization-based linear algebra, to compute the multi-spectral image. We experimentally demonstrated spectral resolution of 9.6nm within the visible band (430nm to 718nm). We further show that the spatial resolution is enhanced by over 30% compared to the case without the diffractive filter. We also demonstrate Vis-IR imaging with the same sensor. Furthermore, our camera is able to computationally trade-off spectral resolution against the field of view in software without any change in hardware as long as sufficient sensor pixels are utilized for information encoding. Since no absorptive color filters are utilized, sensitivity is preserved as well. Finally, the diffractive filters can be easily manufactured using optical lithography and replication techniques.

研究动机与目标

• 开发一种紧凑型、单次曝光的多光谱视频成像系统，以克服传统彩色滤波器和多光谱相机的局限性。
• 解决多光谱成像中光谱分辨率、空间分辨率与视场之间的权衡问题。
• 通过消除吸收性彩色滤波器并保持全波长响应，实现高灵敏度成像。
• 通过计算处理实现软件可配置的光谱与空间分辨率权衡。
• 通过光学光刻与复制技术，实现衍射滤波器的实用化与可扩展制造。

提出的方法

• 在图像传感器附近放置微结构衍射滤波器，将光谱内容转换为传感器像素上的空间编码图案。
• 将光谱到空间的编码建模为线性系统，其中传感器响应是场景光谱辐射度与滤波器传递函数的卷积。
• 通过校准步骤测量系统的前向响应矩阵，从而实现编码数据的反演。
• 采用基于正则化的线性代数技术（如Tikhonov或类似Tikhonov的方法）对编码数据进行反演，以重建多光谱图像。
• 系统支持计算重构：通过将更多传感器像素分配给光谱编码，可实现光谱分辨率与更宽视场之间的权衡。
• 通过利用衍射滤波器的宽带响应特性，将相同传感器与滤波器设计扩展至可见光-红外成像。

实验结果

研究问题

• RQ1 能否设计出一种无需使用吸收性彩色滤波器的单次曝光、紧凑型多光谱视频相机，以保持灵敏度？
• RQ2 如何通过衍射滤波器高效地在空间上编码光谱信息，以实现高光谱与高空间分辨率？
• RQ3 计算重建在多大程度上能从单次传感器曝光中高保真度地恢复多光谱数据？
• RQ4 系统能否通过软件配置实现光谱分辨率与视场之间的动态权衡，而无需硬件更改？
• RQ5 该衍射滤波器设计是否可通过标准光学光刻与复制技术实现可扩展与可制造？

主要发现

• 系统在可见光谱范围（430–718 nm）内实现了9.6 nm的光谱分辨率，支持精细的光谱分辨能力。
• 与未使用衍射滤波器的传统成像系统相比，空间分辨率提升了30%以上。
• 该相机通过相同传感器与滤波器实现了可见光-红外成像，证明了其宽带适用性。
• 通过调整编码的像素分配，系统可实现软件定义的光谱分辨率与视场之间的权衡。
• 衍射滤波器可通过光学光刻与复制技术制造，支持可扩展且低成本的生产。
• 由于未使用吸收性滤波器，灵敏度得以保持，全波长响应在整个光谱范围内均被保留。