[论文解读] Displacement-Invariant Matching Cost Learning for Accurate Optical Flow Estimation

Jianyuan Wang, Yiran Zhong+4 more|arXiv (Cornell University)|Oct 28, 2020

Advanced Vision and Imaging被引用 45

一句话总结

论文提出 displacement-invariant cost learning (DICL) 和 displacement-aware projection (DAP) 层，用以学习光流的匹配代价，而无需构建 5D 特征体，在 Sintel 和 KITTI 上达到最先进的结果。

ABSTRACT

Learning matching costs has been shown to be critical to the success of the state-of-the-art deep stereo matching methods, in which 3D convolutions are applied on a 4D feature volume to learn a 3D cost volume. However, this mechanism has never been employed for the optical flow task. This is mainly due to the significantly increased search dimension in the case of optical flow computation, ie, a straightforward extension would require dense 4D convolutions in order to process a 5D feature volume, which is computationally prohibitive. This paper proposes a novel solution that is able to bypass the requirement of building a 5D feature volume while still allowing the network to learn suitable matching costs from data. Our key innovation is to decouple the connection between 2D displacements and learn the matching costs at each 2D displacement hypothesis independently, ie, displacement-invariant cost learning. Specifically, we apply the same 2D convolution-based matching net independently on each 2D displacement hypothesis to learn a 4D cost volume. Moreover, we propose a displacement-aware projection layer to scale the learned cost volume, which reconsiders the correlation between different displacement candidates and mitigates the multi-modal problem in the learned cost volume. The cost volume is then projected to optical flow estimation through a 2D soft-argmin layer. Extensive experiments show that our approach achieves state-of-the-art accuracy on various datasets, and outperforms all published optical flow methods on the Sintel benchmark.

研究动机与目标

• 激发学习基于数据驱动的光流匹配代价，受到立体匹配进展的启发。
• 通过避免 5D 特征体和 4D 卷积来应对二维位移搜索的计算挑战。
• 提出一个位移不变的成本学习模块，对每个位移假设应用一个 2D 匹配网络，以构建一个 4D 代价体积。
• 引入一个位移感知的投影层，以在位移维度上重新加权代价并缓解多模态歧义。
• 展示在标准光流基准上的精度提升，并提供大量消融实验以验证该方法。

提出的方法

• 对每个位移 u，在一个小的 2D 窗口内计算参考-目标特征级联 F_u(p) = F^1(p) || F^2(p+u) 。
• 对 F_u 应用一个共享的 2D 匹配网络 G，以独立地为每个位移产生成本 C_u(p)（不使用 5D 体积或 4D 卷积）。
• 通过位移感知投影（在位移维度上的 1x1 卷积）聚合跨位移的代价，得到 C'_u。
• 通过对位移集合进行 2D soft-argmin，将 4D 代价体投影为二维光流。
• 使用自粗到细金字塔扭曲策略和上下文网络来细化光流预测。

实验结果

研究问题

• RQ1 在不构建 5D 特征体或使用 4D 卷积的情况下，是否能够有效估计用于光流的学习匹配代价？
• RQ2 将同一个 2D 匹配网络独立应用于每个位移假设，是否在降低计算和内存需求的同时保留有用信息？
• RQ3 位移感知投影层是否能缓解多模态问题并提高亚像素级光流的准确性？
• RQ4 DICL 和 DAP 是否在 Sintel 和 KITTI 数据集上实现了最先进的结果？
• RQ5 在光流任务中，DICL 相较于传统的点积/余弦或基于 MLP 的代价学习器有哪些比较优势？

主要发现

• DICL 在 FlyingChair、Sintel 和 KITTI 基准上，准确度高于非学习度量（点积、余弦相似度）和其他学习代价基线。
• DAP 在各数据集上持续将 EPE 提升约 0.1 像素，并有助于缓解 soft-argmin 估计中的多模态效应。
• 在 Sintel final 上，方法达到 3.44 的 EPE，优于 VCN 和 SelFlow；在 Sintel clean 上，EPE 为 2.12，表明强泛化。
• 在 PWCNet 和 VCN 中将非学习度量替换为 DICL，可获得显著的性能提升（例如 PWCNet+DICL 和 VCN+DICL 在 Chair 的 EPE 提升）。
• 该方法在 KITTI 2015 和 Sintel 上实现了最先进的结果，在训练集上具有有竞争力的验证，且在不做数据集特定调参的情况下具有稳健的泛化能力。