[论文解读] Deep Optics for Monocular Depth Estimation and 3D Object Detection

Julie Chang, Gordon Wetzstein|arXiv (Cornell University)|Apr 18, 2019

Advanced Vision and Imaging参考文献 48被引用 17

一句话总结

本文提出深度光学——一种光学设计与神经网络联合优化的方法，用于单目深度估计与3D目标检测。通过利用编码的离焦模糊与色差作为深度线索，该方法在所有对焦图像的基础上提升了深度精度，即使使用优化的自由曲面透镜或具备色差的标准单聚焦透镜，也能显著提升性能，已在NYU Depth v2、KITTI及自定义数据集上得到验证，且3D目标检测性能亦得到改善。

ABSTRACT

Depth estimation and 3D object detection are critical for scene understanding but remain challenging to perform with a single image due to the loss of 3D information during image capture. Recent models using deep neural networks have improved monocular depth estimation performance, but there is still difficulty in predicting absolute depth and generalizing outside a standard dataset. Here we introduce the paradigm of deep optics, i.e. end-to-end design of optics and image processing, to the monocular depth estimation problem, using coded defocus blur as an additional depth cue to be decoded by a neural network. We evaluate several optical coding strategies along with an end-to-end optimization scheme for depth estimation on three datasets, including NYU Depth v2 and KITTI. We find an optimized freeform lens design yields the best results, but chromatic aberration from a singlet lens offers significantly improved performance as well. We build a physical prototype and validate that chromatic aberrations improve depth estimation on real-world results. In addition, we train object detection networks on the KITTI dataset and show that the lens optimized for depth estimation also results in improved 3D object detection performance.

研究动机与目标

• 通过引入深度线索的光学编码，解决单目深度估计的病态性问题。
• 探究联合设计光学与深度学习是否能提升深度估计及更高阶的3D视觉任务性能。
• 在端到端可微分框架下，评估不同光学编码策略（离焦、散光、色差、自由曲面透镜）的相对性能。
• 验证通过优化光学提升的深度估计是否能真正改善3D目标检测，而不仅限于深度回归任务。
• 证明即使使用具有固有色差的简单透镜，在与神经网络联合优化后，也能超越标准全对焦光学系统。

提出的方法

• 作者开发了一种可微分的光学成像模型，整合了固定或可优化的透镜参数，包括离焦、散光、色差以及自由曲面相位掩模。
• 将该模型与卷积神经网络（CNN）集成用于深度估计，实现光学与电子元件的端到端反向传播。
• 系统采用可微分重建损失进行训练，支持通过梯度下降法同时优化透镜几何形状与网络权重。
• 通过在NYU Depth v2、KITTI及自定义数据集上的仿真，评估不同光学编码策略，透镜参数通过梯度下降法进行优化。
• 制作了一个具备色差的单聚焦透镜物理原型，并在真实场景中测试，以验证仿真结果。
• 在3D目标检测中，采用Frustrum PointNet（FPointNet）模型，基于优化透镜生成的深度图进行训练，以预测深度替代真实LIDAR数据。

实验结果

研究问题

• RQ1 当与深度神经网络联合优化时，诸如离焦模糊与色差等光学编码策略是否能提升单目深度估计性能？
• RQ2 在深度估计任务中，固定光学设计（如色差）与可优化光学设计（如自由曲面透镜）的性能表现如何比较？
• RQ3 通过优化光学提升的深度估计是否能转化为更高阶3D视觉任务（如3D目标检测）的性能提升？
• RQ4 在与神经网络联合优化后，具有固有色差的简单低成本透镜是否能超越复杂全对焦透镜？
• RQ5 可微分光学成像模型在多大程度上实现了光学-电子系统端到端的有效训练？

主要发现

• 优化后的自由曲面透镜设计在所有数据集上均实现了最佳深度估计性能，其均方根误差（RMSE）低于基线全对焦网络。
• 出人意料的是，具备固有色差的标准单聚焦透镜性能几乎与自由曲面透镜相当，表明色差是一种极为有效的深度线索。
• 物理原型验证表明，在真实场景中，通过色差成像获得的图像在深度估计方面显著优于全对焦图像。
• 使用优化透镜生成的深度图进行3D目标检测时，性能得到提升，证明了更优深度估计可有效传递至更高阶任务。
• 与使用全对焦图像的复杂网络相比，该方法在采用简单U-Net时也实现了更低的RMSE，表明光学编码减轻了网络的负担。
• 在优化与全对焦图像之间，2D目标检测性能保持相当，表明光学退化并未损害语义特征提取能力。