[论文解读] Foveated Thermal Computational Imaging in the Wild Using All-Silicon Meta-Optics

Vishwanath Saragadam, Zheyi Han+8 more|arXiv (Cornell University)|Dec 13, 2022

Photonic and Optical Devices被引用 5

一句话总结

本论文提出首个在长波红外（LWIR）波段实现的实时、全硅基超构光学系统，用于foveated热成像。通过利用偏振敏感金属透镜与旋转偏振片复用高分辨率foveal图像与低分辨率perifoveal图像，再结合深度图像先验或快速最小二乘法进行计算重建，该系统在真实环境下实现了12 fps的foveated视频捕获，foveal扩展比为1:6。

ABSTRACT

Foveated imaging provides a better tradeoff between situational awareness (field of view) and resolution and is critical in long-wavelength infrared regimes because of the size, weight, power, and cost of thermal sensors. We demonstrate computational foveated imaging by exploiting the ability of a meta-optical frontend to discriminate between different polarization states and a computational backend to reconstruct the captured image/video. The frontend is a three-element optic: the first element which we call the "foveal" element is a metalens that focuses s-polarized light at a distance of $f_1$ without affecting the p-polarized light; the second element which we call the "perifoveal" element is another metalens that focuses p-polarized light at a distance of $f_2$ without affecting the s-polarized light. The third element is a freely rotating polarizer that dynamically changes the mixing ratios between the two polarization states. Both the foveal element (focal length = 150mm; diameter = 75mm), and the perifoveal element (focal length = 25mm; diameter = 25mm) were fabricated as polarization-sensitive, all-silicon, meta surfaces resulting in a large-aperture, 1:6 foveal expansion, thermal imaging capability. A computational backend then utilizes a deep image prior to separate the resultant multiplexed image or video into a foveated image consisting of a high-resolution center and a lower-resolution large field of view context. We build a first-of-its-kind prototype system and demonstrate 12 frames per second real-time, thermal, foveated image, and video capture in the wild.

研究动机与目标

• 解决热成像系统中同时实现高分辨率目标检测与宽视野态势感知的挑战。
• 克服传统foveated传感器与动态光学在LWIR波段因像素尺寸大和材料限制带来的局限性。
• 利用全硅基超构光学与偏振复用技术，在野外环境中实现实时、计算型foveated成像。
• 展示一个原型系统，可实现12 fps的foveated热成像视频捕获，并实现高质量重建。

提出的方法

• 设计三元件超构光学前端：一个焦距为150 mm、聚焦s偏振光的foveal金属透镜，一个焦距为25 mm、聚焦p偏振光的perifoveal金属透镜，以及一个可自由旋转的偏振片以控制混合比例。
• 将两个金属透镜制造为偏振敏感的全硅基超表面，以实现大孔径、低损耗、宽带LWIR工作。
• 使用旋转偏振片动态调制foveal与perifoveal图像之间的强度比，实现在单个热传感器上的复用测量。
• 在计算后端应用深度图像先验方法，从未知复用数据中解复用并重建高分辨率foveal图像与低分辨率perifoveal图像。
• 当混合比例已知时，通过快速最小二乘求解器实现实时重建，最高可达40 fps，并结合双边滤波降低噪声。
• 实施两阶段图像配准与校准流程，以估计foveal与perifoveal组件之间的刚性变换（缩放与平移），确保重建精度。

实验结果

研究问题

• RQ1 偏振复用的超构光学是否能够在传统光学与传感器面临根本性限制的LWIR波段实现foveated热成像？
• RQ2 计算成像技术如何被用于从单个复用测量中重建高质量的foveated热成像？
• RQ3 在无运动模糊或分离不良的前提下，实现高质量重建所需的最优帧数是多少？
• RQ4 当混合比例已知时，能否通过计算高效的方法实现实时光学foveated热成像视频？
• RQ5 当机械对齐在不同捕获中变化时，如何实现鲁棒的系统校准？

主要发现

• 原型系统在真实环境下成功实现了12 fps的foveated热成像视频捕获，首次展示了LWIR波段中计算型foveated成像的实时实现。
• 使用12–16帧/次捕获时，系统实现最优重建质量，平衡信息量与运动模糊；帧数过少导致分离不良，帧数过多则增加模糊。
• 当已知混合比例并使用快速最小二乘求解器时，最高可达40 fps的实时重建成为可能，但结果噪声较深图像先验方法更高。
• 基于深度图像先验的重建方法产生更高质量结果，但每帧需耗时达50秒，因此不适用于实时应用。
• 两阶段校准流程——先通过固定1:6缩放比估计初始平移，再通过强度匹配进行优化——可实现不同对齐条件下foveal与perifoveal组件的精确配准。
• 系统实现了1:6的foveal扩展（150 mm对比25 mm焦距），实现中心高分辨率成像与宽视场上下文感知，该结果通过仿真与真实实验均得到验证。