[论文解读] AA-RMVSNet: Adaptive Aggregation Recurrent Multi-view Stereo Network

Zizhuang Wei, Qingtian Zhu+3 more|arXiv (Cornell University)|Aug 9, 2021

Advanced Vision and Imaging参考文献 33被引用 13

一句话总结

AA-RMVSNet 提出了一种具有自适应聚合模块的循环多视角立体网络：一个用于上下文感知、多尺度特征提取的视图内模块，以及一个用于像素级视图选择以处理遮挡的视图间模块。该方法在性能上达到当前最先进水平，在 Tanks and Temples 基准上排名首位，平均 F 分数达 61.51，在 DTU 数据集上也取得具有竞争力的结果，展现出在 3D 重建中更高的精度与完整性。

ABSTRACT

In this paper, we present a novel recurrent multi-view stereo network based on long short-term memory (LSTM) with adaptive aggregation, namely AA-RMVSNet. We firstly introduce an intra-view aggregation module to adaptively extract image features by using context-aware convolution and multi-scale aggregation, which efficiently improves the performance on challenging regions, such as thin objects and large low-textured surfaces. To overcome the difficulty of varying occlusion in complex scenes, we propose an inter-view cost volume aggregation module for adaptive pixel-wise view aggregation, which is able to preserve better-matched pairs among all views. The two proposed adaptive aggregation modules are lightweight, effective and complementary regarding improving the accuracy and completeness of 3D reconstruction. Instead of conventional 3D CNNs, we utilize a hybrid network with recurrent structure for cost volume regularization, which allows high-resolution reconstruction and finer hypothetical plane sweep. The proposed network is trained end-to-end and achieves excellent performance on various datasets. It ranks $1^{st}$ among all submissions on Tanks and Temples benchmark and achieves competitive results on DTU dataset, which exhibits strong generalizability and robustness. Implementation of our method is available at https://github.com/QT-Zhu/AA-RMVSNet.

研究动机与目标

• 为使用深度学习进行细长结构和低纹理表面的 3D 重建挑战提供解决方案。
• 通过自适应视图聚合提升在复杂场景中不同遮挡情况下的鲁棒性。
• 通过混合 LSTM 架构在保持高分辨率重建的同时降低内存消耗。
• 通过增强特征表示与代价体积正则化，提升深度图的精度与完整性。

提出的方法

• 引入一种基于可变形卷积和多尺度特征融合的视图内自适应聚合模块，以增强上下文感知的特征提取能力。
• 提出一种视图间代价体积聚合模块，通过生成像素级注意力图来优先选择匹配良好的视图对。
• 采用混合网络结构，结合循环 LSTM 架构进行代价体积正则化，实现高分辨率和精细的平面扫描。
• 通过端到端训练结合轻量化模块，在提升性能的同时保持内存效率。
• 在特征提取与视图选择阶段均应用自适应聚合，以增强在多样化场景类型下的鲁棒性。

Figure 1: Illustration of multi-view 3D reconstruction of Scan 77 in DTU dataset [ 3 ] using the proposed AA-RMVSNet. (a) The reference image; (b) adaptive sampling locations in our intra-view AA approach; (c) the depth map estimated by AA-RMVSNet after filtering; (d) the recovered dense 3D model.

实验结果

研究问题

• RQ1 自适应视图内特征聚合是否能提升对细长和无纹理结构的深度估计性能？
• RQ2 通过注意力图实现的像素级视图间选择是否能降低复杂场景中遮挡的影响？
• RQ3 基于循环 LSTM 的代价体积正则化是否在精度与内存效率方面优于 3D CNN？
• RQ4 当组合使用时，所提出的自适应模块在性能与内存开销方面的表现如何比较？

主要发现

• AA-RMVSNet 在 Tanks and Temples 基准上取得 61.51 的平均 F 分数，所有提交结果中排名第一。
• 在 DTU 数据集上，该方法将整体平均深度误差降低至 0.357 mm，相比基线提升 8.7%。
• 视图内自适应聚合使完整性提升 0.28，仅增加 1.74 GB 内存；视图间 AA 使精度提升 0.31，内存开销仅增加 0.11 GB。
• 完整模型在仅使用 4.25 GB 内存的情况下，即可生成 800×600 分辨率的高分辨率深度图，展现出出色的内存效率。
• 可视化结果表明，与 R-MVSNet 及其他基线方法相比，该方法在重建细长物体和遮挡区域方面有显著改进。

Figure 2: Overall architecture of AA-RMVSNet that consists of 4 stages. Intra-view AA module aims to aggregate context-aware features for multiple scales and regions with varying richness of texture. Inter-view AA module adaptively aggregates cost volumes of different views by yielding pixel-wise at