[论文解读] Curriculum Learning for ab initio Deep Learned Refractive Optics

Xinge Yang, Qiang Fu+1 more|arXiv (Cornell University)|Feb 2, 2023

Photonic and Optical Devices参考文献 37被引用 5

一句话总结

本文提出一种基于课程学习的端到端、从零开始设计复合折射透镜的方法，用于基于深度学习的计算成像系统。通过逐步增加任务难度并控制像差，该方法实现了复杂透镜系统的完全自动优化——以设计一款紧凑、手机形态的扩展景深相机为例，该相机具有高非球面度和短后焦距，实现了近乎与景深无关的成像，且无需人工干预或初始设计。

ABSTRACT

Deep optical optimization has recently emerged as a new paradigm for designing computational imaging systems using only the output image as the objective. However, it has been limited to either simple optical systems consisting of a single element such as a diffractive optical element (DOE) or metalens, or the fine-tuning of compound lenses from good initial designs. Here we present a DeepLens design method based on curriculum learning, which is able to learn optical designs of compound lenses ab initio from randomly initialized surfaces without human intervention, therefore overcoming the need for a good initial design. We demonstrate the effectiveness of our approach by fully automatically designing both classical imaging lenses and a large field-of-view extended depth-of-field computational lens in a cellphone-style form factor, with highly aspheric surfaces and a short back focal length.

研究动机与目标

• 为克服现有深度学习透镜设计方法依赖良好初始设计或人工调优的局限性，实现复合折射透镜的完全自动、从零开始的优化。
• 解决深度学习透镜设计中非凸优化问题导致的局部极小值问题，避免在缺乏人工监督的情况下无法收敛。
• 证明从随机初始几何结构出发，完全自动设计复杂且实用的光学系统（如具有移动设备形态的扩展景深（EDoF）相机）的可行性。
• 将光学设计与图像重建整合到单一端到端学习框架中，同步优化两者以实现最终图像质量的最优化。
• 实现具备高挑战性特征（如高非球面度和奇次多项式相位项）的紧凑型高性能透镜设计，适用于真实世界移动成像应用。

提出的方法

• 采用课程学习策略，通过从较小孔径和视场开始，逐步引入完整成像目标，逐步提升任务复杂度，以避免陷入局部极小值。
• 利用可微光线追迹技术，将图像质量误差反向传播通过光学系统，实现对透镜表面参数的基于梯度的优化。
• 应用像差控制与形状约束策略，在优化过程中防止出现退化或不稳定的透镜几何结构。
• 聚焦于图像中误差较高的区域进行优化，提升收敛速度与最终图像质量。
• 以端到端方式集成深度神经网络进行图像重建，联合优化透镜设计参数与重建网络参数。
• 采用混合表面模型，结合非球面与奇次多项式相位项（如立方相位），实现与景深无关的点扩散函数。

实验结果

研究问题

• RQ1 课程学习是否能够实现无需良好初始设计的端到端、从零开始的复合折射透镜优化？
• RQ2 可微光线追迹结合课程学习是否能够克服复杂非凸光学设计空间中的局部极小值问题？
• RQ3 基于深度学习的透镜设计框架是否能够生成实用、紧凑且高性能的光学系统（如移动设备形态的EDoF相机）？
• RQ4 与采用后处理重建的古典光学系统相比，端到端学习的EDoF透镜在景深扩展与图像质量方面表现如何？
• RQ5 混合表面透镜模型（非球面 + 奇次多项式相位）在EDoF设计中，能在多大程度上提升紧凑性与性能？

主要发现

• 所提方法成功设计出一款完全自动、紧凑的EDoF计算相机，其外形为手机样式，视场角为57.3°，景深范围从20 cm到10 m。
• 端到端学习的EDoF透镜在10 m景深处达到30.17 dB的PSNR，较经典透镜加重建网络的方案提升1.72 dB，较经典透镜在20 cm处提升2.47 dB。
• 混合表面EDoF透镜设计性能优于先前方案，且结构更紧凑，展现出实际优势。
• 课程学习策略有效避免了局部极小值，实现了从随机初始化透镜几何结构出发的完全收敛，无需人工干预。
• EDoF透镜的传感器图像几乎与景深无关，最终重建图像无伪影，且显著优于经后处理的古典光学系统。
• 如图4所示的PSNR曲线所示，该方法在性能上优于经典光学加重建网络以及纯网络去模糊方法，证实了端到端优化的优越性。