[论文解读] Hybrid Diffractive Optics Design via Hardware-in-the-Loop Methodology for Achromatic Extended-Depth-of-Field Imaging

Samuel Pinilla, Seyyed Reza Miri Rostami+3 more|arXiv (Cornell University)|Mar 30, 2022

Advanced optical system design参考文献 51被引用 37

一句话总结

该论文提出了一种基于空间光调制器（SLM）作为可编程纯相位衍射光学元件（DOE）的软硬件协同（HIL）优化框架，用于设计混合衍射光学系统，实现了无色差的扩展景深（EDoF）成像。通过采用可微分的端到端流水线，联合优化SLM相位图案与图像重建算法，并结合定量与定性损失函数，该方法在0.4–1.9 m景深范围内实现了高质量的全景深对焦成像，其清晰度与色彩保真度优于仅使用镜头的系统以及索尼A7 III和iPhone Xs Max等商用相机。

ABSTRACT

End-to-end optimization of diffractive optical elements (DOEs) profile through a digital differentiable model combined with computational imaging have gained an increasing attention in emerging applications due to the compactness of resultant physical setups. Despite recent works have shown the potential of this methodology to design optics, its performance in physical setups is still limited and affected by manufacturing artifacts of DOE, mismatch between simulated and resultant experimental point spread functions, and calibration errors. Additionally, the computational burden of the digital differentiable model to effectively design the DOE is increasing, thus limiting the size of the DOE that can be designed. To overcome the above mentioned limitations, the broadband imaging system with phase-only spatial light modulator (SLM) as an encoded DOE is proposed and developed in this paper. A co-design of the SLM phase pattern and image reconstruction algorithm is produced following the end-to-end strategy, using for optimization a convolutional neural network equipped with quantitative and qualitative loss functions. The optics of the imaging system is hybrid consisting of SLM as DOE and refractive lens. SLM phase-pattern is optimized by applying the Hardware-in-the-loop technique, which helps to eliminate the mismatch between numerical modeling and physical reality of image formation as light propagation is not numerically modeled but is physically done. In our experiments, the hybrid optics is implemented by the optical projection of the SLM phase-pattern on a lens plane for a depth range 0.4-1.9m. Comparison with compound multi-lens optics such as Sony A7 III and iPhone Xs Max cameras show that the proposed system is advanced in all-in-focus sharp imaging.

研究动机与目标

• 为解决由于制造缺陷、点扩散函数（PSF）不匹配及校准误差导致的理论DOE设计与实际实现之间的性能差距。
• 克服纯数字可微分建模在大规模DOE设计中计算成本高且可扩展性差的局限。
• 开发一种实用的、端到端的衍射光学协同设计框架，弥合仿真与真实光学性能之间的鸿沟。
• 利用紧凑的折射透镜与SLM基DOE混合系统，实现高质量、无色差、扩展景深的成像。

提出的方法

• 采用软硬件协同（HIL）架构，用实际光传播替代优化循环中的数值模拟，从而消除模型与实验之间的不匹配。
• 使用空间光调制器（SLM）作为像素级可编程的纯相位DOE，实现对波前的实时、可重构调制。
• 通过结合定量（如PSNR）与定性（如感知）损失函数的可微分卷积神经网络（CNN），联合优化SLM相位图案与图像重建算法。
• 通过将SLM相位图案投影至透镜平面，构建混合光学系统，形成紧凑的折射-DOE系统。
• 通过两种物理实验设置验证EDoF性能：一种为多个位于不同景深的物体（设置1），另一种为单个三维场景（设置2）。
• 使用真实光学采集数据（而非模拟PSF）进行端到端系统的训练与验证，确保对真实世界畸变的鲁棒性。

实验结果

研究问题

• RQ1 软硬件协同优化是否能有效弥合DOE设计中仿真性能与实际物理性能之间的差距？
• RQ2 与仅使用镜头或固定相位DOE系统相比，联合优化SLM相位图案与图像重建算法在无色差EDoF成像质量方面有何提升？
• RQ3 所提出的HIL方法在宽景深范围内实现全景深对焦清晰成像方面，是否显著优于商用复合镜头相机（如索尼A7 III、iPhone Xs Max）？
• RQ4 在动态景深变化（如移动物体）条件下，系统是否能保持高图像质量与色彩保真度？
• RQ5 采用结合混合损失函数的可微分CNN对优化DOE的鲁棒性与泛化能力有何影响？

主要发现

• HIL优化的混合系统在所有RGB通道及0.4–1.9 m景深范围内均实现了约25 dB的PSNR，证实了其稳定且无色差的性能。
• 在1.8 m离焦距离下，与仅使用镜头的系统相比，该混合系统将PSNR提升了约2 dB，显著改善了图像质量。
• 视觉对比显示，所设计的混合系统在清晰度与色彩保留方面优于仅使用镜头的系统及立方相位SLM系统，尤其在极端景深下表现更优。
• 在动态景深变化下，系统仍能保持高质量图像，如一段展示向日葵从0.3 m移动至1.9 m的视频中，重建图像始终保持清晰且色彩准确。
• 尽管商用相机（如索尼A7 III与iPhone Xs Max）采用复杂的多透镜光学系统，该混合系统在全景深对焦成像性能上仍显著优于它们，尤其在景深外区域。
• HIL方法成功缓解了仿真与真实物理现实之间的不匹配，实现了高性能DOE的可靠设计，且无需依赖数值建模的PSF。