[论文解读] Group-wise Correlation Stereo Network

Xiaoyang Guo, Kai Yang+3 more|arXiv (Cornell University)|Mar 10, 2019

Advanced Vision and Imaging参考文献 30被引用 7

一句话总结

本文提出GwcNet，一种使用分组互相关构建代价体积的立体匹配网络，在降低参数量和计算成本的同时提升了特征相似性度量。通过将特征分组并在每组内计算交叉相关性，该方法在Scene Flow、KITTI 2012和KITTI 2015数据集上实现了最先进性能，同时具备更快的推理速度和在有限计算预算下的更优效率。

ABSTRACT

Stereo matching estimates the disparity between a rectified image pair, which is of great importance to depth sensing, autonomous driving, and other related tasks. Previous works built cost volumes with cross-correlation or concatenation of left and right features across all disparity levels, and then a 2D or 3D convolutional neural network is utilized to regress the disparity maps. In this paper, we propose to construct the cost volume by group-wise correlation. The left features and the right features are divided into groups along the channel dimension, and correlation maps are computed among each group to obtain multiple matching cost proposals, which are then packed into a cost volume. Group-wise correlation provides efficient representations for measuring feature similarities and will not lose too much information like full correlation. It also preserves better performance when reducing parameters compared with previous methods. The 3D stacked hourglass network proposed in previous works is improved to boost the performance and decrease the inference computational cost. Experiment results show that our method outperforms previous methods on Scene Flow, KITTI 2012, and KITTI 2015 datasets. The code is available at https://github.com/xy-guo/GwcNet

研究动机与目标

• 为解决全相关和基于拼接的代价体积在立体匹配中的局限性，后者存在信息丢失或参数需求过高的问题。
• 通过利用结构化的特征分组实现分组互相关，改进匹配代价表示。
• 在不增加推理时间的前提下，提升3D代价体积聚合网络的性能与效率。
• 通过降低性能对网络深度和宽度的敏感性，实现在计算资源受限条件下的实时立体匹配。

提出的方法

• 该方法使用分组互相关构建代价体积：将左右特征沿通道维划分成多个组。
• 对每组，在所有视差水平上计算对应左右特征组之间的交叉相关性，生成多个匹配代价提案。
• 将这些分组互相关图拼接成一个4D代价体积，其保留的相似性信息比全相关更丰富。
• 在3D堆叠沙漏网络中，通过在短跳连接中引入1×1×1卷积，降低推理成本的同时提升性能。
• 采用多尺度监督策略并引入辅助输出，实现端到端训练，以改善梯度流动。
• 在Scene Flow、KITTI 2012和KITTI 2015上进行评估，并在计算成本限制下开展消融实验。

Figure 1 : The pipeline of the proposed group-wise correlation network. The whole network consists of four parts, unary feature extraction, cost volume construction, 3D convolution aggregation, and disparity prediction. The cost volume is divided into two parts, concatenation volume ( Cat ) and grou

实验结果

研究问题

• RQ1 分组互相关是否能提供优于全相关或拼接式体积的匹配代价表示？
• RQ2 分组互相关如何影响3D聚合网络在立体匹配中的性能与参数效率？
• RQ3 所提出的沙漏网络改进是否能在降低推理时间的同时提升精度？
• RQ4 与先前方法相比，该模型在计算资源受限条件下的表现如何？

主要发现

• 在KITTI 2015测试集上，GwcNet（Gwc40）在>5px视差误差上的错误率为3.49%，优于PSMNet的0.21%和SegStereo的0.14%（D1-all指标）。
• 在KITTI 2012测试集上，GwcNet（Gwc40-Cat24）在>5px视差误差上的错误率为0.80%，在3像素误差指标上优于PSMNet 0.19%。
• 当减少3D聚合网络中的通道数时，GwcNet相比基于拼接的模型保持了显著更优的性能，尤其在低计算设置下表现更优。
• 改进后的堆叠沙漏网络在TITAN Xp GPU上将推理时间减少了42.7ms，同时在Scene Flow上提升EPE 7.8%，在KITTI 2015上提升5.8%。
• 分组互相关体积实现了更好的泛化能力，并降低了对网络宽度的敏感性，使其更适用于实时立体匹配应用。

Figure 3 : Our model Gwc-Cat achieves much better performance than Cat when the number of channels decreases. The models with 32 base channels correspond to the Cat64 model (concatenation volume) and the Gwc40-Cat24 model (group-wise correlation and concatenation volume). The channels of the cost vo