[论文解读] Learned holographic light transport

Koray Kavaklı, Hakan Ürey+1 more|arXiv (Cornell University)|Aug 1, 2021

Advanced Optical Imaging Technologies参考文献 21被引用 4

一句话总结

本文提出了一种学习型全息光传输模型，通过从真实全息重建的相机捕捉中学习单个复值卷积核，提升了全息显示的模拟精度。该方法在基于理想仿真优化的纯相位全息图上进行训练，显著提高了模拟中的图像质量和真实感，优于标准的理想模型，且无需复杂架构或大量校准工作。

ABSTRACT

Computer-Generated Holography (CGH) algorithms often fall short in matching simulations with results from a physical holographic display. Our work addresses this mismatch by learning the holographic light transport in holographic displays. Using a camera and a holographic display, we capture the image reconstructions of optimized holograms that rely on ideal simulations to generate a dataset. Inspired by the ideal simulations, we learn a complex-valued convolution kernel that can propagate given holograms to captured photographs in our dataset. Our method can dramatically improve simulation accuracy and image quality in holographic displays while paving the way for physically informed learning approaches.

研究动机与目标

• 解决模拟与物理全息显示性能之间的长期差距。
• 减少对复杂深度学习模型或大量实验校准的依赖，以实现全息显示建模。
• 开发一种简单、可微分的方法，以学习真实全息显示的真实光传输特性。
• 实现更精确的模拟，真实反映纯相位全息图的图像质量。
• 为全息学中的物理信息学习提供基础，同时保持极低的参数开销。

提出的方法

• 使用相机捕捉概念验证型纯相位全息显示的真实图像重建结果。
• 利用理想、完全可微分的全息光传输模型（瑞利-索末菲衍射）优化输入全息图。
• 训练单个复值卷积核，将理想全息图映射到实际捕捉的物理重建结果。
• 使用可微分损失函数，将通过学习核模拟的重建结果与实际相机图像进行比较。
• 学习一个点扩散函数，以建模物理显示的综合光学像差与缺陷。
• 在模拟中应用学习到的核，以实现更真实感的全息图向像平面的传播。

实验结果

研究问题

• RQ1 单个学习到的复值卷积核是否能有效建模真实全息显示的非理想光传输特性？
• RQ2 与理想化全息模型相比，该学习核在多大程度上提升了模拟精度？
• RQ3 该方法是否减少了对复杂深度学习架构或大量校准流程的需求？
• RQ4 与最先进的基于神经网络的方法相比，该学习核在性能和参数效率方面表现如何？
• RQ5 该学习核是否能够捕捉并保留关键图像质量指标，如动态范围和亮度？

主要发现

• 学习到的全息光传输方法显著提升了模拟精度，实现了与真实世界物理重建高度一致的图像质量。
• 如图4中的视觉对比所示，该方法在动态范围和亮度水平的保持方面优于理想模拟模型。
• 该方法将可调参数数量减少至四百万（振幅与相位各2×1080×1920），相比使用深度神经网络的最先进方法，参数量减半。
• 学习到的核作为点扩散函数，能够捕捉显示的综合光学缺陷，从而实现更真实的模拟。
• 通过采用与输入图像大小相同的核尺寸，该方法避免了小核尺寸带来的局部性问题，确保了传播过程中的完整空间上下文。
• 该方法以极低的实验与算法开销实现了物理信息学习，为复杂生成对抗网络或多层模型提供了一种简单而有效的替代方案。