[论文解读] Feature-metric Loss for Self-supervised Learning of Depth and Egomotion

Chang Shu, Kun Yu+2 more|arXiv (Cornell University)|Jul 21, 2020

Advanced Vision and Imaging参考文献 56被引用 16

一句话总结

本文提出特征度量损失用于自监督深度和运动估计，通过一阶（判别性）和二阶（收敛性）梯度损失正则化的自编码器网络学习判别性特征表示，以塑造有利的优化景观。该方法在KITTI数据集上实现了最先进的深度估计性能，将$δ_1$从0.885提升至0.925，并在视觉里程计任务中显著优于先前方法。

ABSTRACT

Photometric loss is widely used for self-supervised depth and egomotion estimation. However, the loss landscapes induced by photometric differences are often problematic for optimization, caused by plateau landscapes for pixels in textureless regions or multiple local minima for less discriminative pixels. In this work, feature-metric loss is proposed and defined on feature representation, where the feature representation is also learned in a self-supervised manner and regularized by both first-order and second-order derivatives to constrain the loss landscapes to form proper convergence basins. Comprehensive experiments and detailed analysis via visualization demonstrate the effectiveness of the proposed feature-metric loss. In particular, our method improves state-of-the-art methods on KITTI from 0.885 to 0.925 measured by $δ_1$ for depth estimation, and significantly outperforms previous method for visual odometry.

研究动机与目标

• 为解决光度损失在自监督深度与运动估计中的局限性，特别是在无纹理或低对比度区域的问题。
• 通过学习的特征表示塑造损失景观，以提升优化稳定性和收敛性。
• 利用自监督框架实现长距离深度传播并提升在挑战性区域的鲁棒估计。
• 在无监督监督条件下，实现单目深度估计与视觉里程计基准的最先进性能。

提出的方法

• 提出三流网络：DepthNet与PoseNet用于跨视图重建，FeatureNet用于单视图重建。
• 基于FeatureNet学习的特征表示定义特征度量损失，替代或补充光度损失。
• 实施判别性损失，通过一阶梯度鼓励像素间特征差异，以增强判别能力。
• 应用收敛性损失，惩罚特征梯度的方差，以促进宽广的收敛盆地和稳定优化。
• 采用端到端训练，联合优化深度、运动估计与特征表示，结合重建损失、判别性损失与收敛性损失。
• 采用基于PCA的可视化方法分析学习的特征图，验证表示学习的质量。

实验结果

研究问题

• RQ1 自监督特征表示学习能否提升深度与运动估计中的优化稳定性和收敛性？
• RQ2 在无纹理区域，基于特征的损失景观是否优于光度损失与平滑性损失？
• RQ3 正则化特征学习能否在保持边界细节的同时实现长距离深度传播？
• RQ4 与先前自监督方法相比，特征度量损失在多大程度上提升了视觉里程计性能？

主要发现

• 所提出的特征度量损失将KITTI数据集上的深度估计性能提升至$δ_1$ 0.925，达到最先进水平。
• 该方法在视觉里程计任务中显著优于先前的自监督方法，轨迹误差（$t_{err}$）与旋转误差（$r_{err}$）更低。
• 特征图可视化显示，$π_{rec}$、$π_{dis}$与$π_{cvt}$损失的组合产生平滑、类似盆地的景观，非常适合梯度下降。
• 同时使用三种损失（$π_{rec} + π_{dis} + π_{cvt}$）时性能最佳，而省略$π_{cvt}$则导致不稳定、锯齿状的特征图。
• 在线优化在特征度量损失下获益更多，因其在误差校正中提供了更强、更具判别性的监督。
• 通过自编码器路径学习的特征表示在无纹理区域比仅使用光度损失更具鲁棒性。