[论文解读] A Performance Evaluation of Local Features for Image Based 3D Reconstruction

Bin Fan, Qingqun Kong+5 more|arXiv (Cornell University)|Dec 14, 2017

Advanced Image and Video Retrieval Techniques参考文献 55被引用 7

一句话总结

该论文评估了最先进的局部特征（包括浮点型和二值化类型）在基于图像的3D重建中的表现，使用了两个数据集：一个具有真实3D点的受控DTU MVS数据集，以及一个互联网规模且包含干扰物的数据集。结果表明，在受控条件下，二值化特征在速度和精度上均优于浮点特征；而在大规模、干扰物丰富的场景中，浮点特征（尤其是L2Net和VGGDesc等学习型特征）显著优于二值化特征。

ABSTRACT

This paper performs a comprehensive and comparative evaluation of the state of the art local features for the task of image based 3D reconstruction. The evaluated local features cover the recently developed ones by using powerful machine learning techniques and the elaborately designed handcrafted features. To obtain a comprehensive evaluation, we choose to include both float type features and binary ones. Meanwhile, two kinds of datasets have been used in this evaluation. One is a dataset of many different scene types with groundtruth 3D points, containing images of different scenes captured at fixed positions, for quantitative performance evaluation of different local features in the controlled image capturing situations. The other dataset contains Internet scale image sets of several landmarks with a lot of unrelated images, which is used for qualitative performance evaluation of different local features in the free image collection situations. Our experimental results show that binary features are competent to reconstruct scenes from controlled image sequences with only a fraction of processing time compared to use float type features. However, for the case of large scale image set with many distracting images, float type features show a clear advantage over binary ones.

研究动机与目标

• 评估现代局部特征在基于图像的3D重建中的端到端性能，超越孤立的匹配基准测试。
• 比较手工设计与学习型局部特征（包括浮点型和二值化类型）对重建精度、完整性和效率的影响。
• 评估特征性能在两种不同现实场景下的差异：受控图像采集（具有真实3D点）与大规模、无序的互联网图像集合（含干扰物）。
• 确定近期基于学习的描述符（如L2Net、VGGDesc）与传统描述符（如SIFT、LIOP）在不同条件下哪类在重建性能上更优。
• 确定集成学习型关键点检测器（如LIFT）是否相比SIFT基流水线能显著提升整体重建质量。

提出的方法

• 实现了一个线性时间增量式结构光束法（SfM）重建流水线，结合PMVS进行3D重建，以匹配的关键点作为输入。
• 评估了15种不同的局部特征组合：包括SIFT、LIOP、VGGDesc、DeepDesc、L2Net、LIFT（自带关键点检测器），以及二值化特征（BRISK、FRIF、LDB、RFD、BinBoost）。
• 以SIFT关键点作为所有浮点型和二值化描述符的基线（LIFT除外，其使用自身检测器），确保不同描述符之间的公平比较。
• 对所有特征组合应用相同的重建流水线，以隔离特征选择对重建结果的影响。
• 在DTU MVS数据集上使用真实3D点进行定量评估，以衡量精度和完整性。
• 在大规模互联网图像集合（3个地标）上进行定性评估，以检验在存在干扰物和无序图像集合时的鲁棒性。

实验结果

研究问题

• RQ1 在受控图像采集条件下，浮点型与二值化局部特征在重建精度和完整性方面有何差异？
• RQ2 手工设计特征（如SIFT、LIOP）与学习型特征（如VGGDesc、L2Net、DeepDesc）在3D重建性能上表现如何比较？
• RQ3 使用学习型关键点检测器（如LIFT）与传统检测器（如SIFT）对重建质量与鲁棒性有何影响？
• RQ4 在大规模、无序图像集合中，不同局部特征的表现如何？二值化特征在该类场景中是否仍具竞争力？
• RQ5 与经典手工设计描述符相比，学习型描述符（尤其是基于CNN的）在多大程度上提升了重建性能？

主要发现

• 在受控设置（DTU MVS）下，二值化特征（如FRIF和BRISK）的重建精度与SIFT相当，但处理时间显著减少。
• 在大规模、含干扰物的互联网图像集合中，浮点型描述符——尤其是L2Net和VGGDesc——在相机恢复和重建质量方面全面优于所有二值化特征。
• 在浮点型描述符中，L2Net实现最佳的重建性能，其次为VGGDesc，两者在精度和完整性上均优于SIFT和LIOP。
• SIFT在所有场景中均保持高度稳定与高效，尤其在受控条件下表现优异，表明其尽管有更新的替代方案，仍具有持久的鲁棒性。
• 尽管LIFT使用了学习型关键点检测器，其在重建精度和完整性方面仍逊于SIFT基流水线，表明学习型关键点定位目前仍不够精确。
• FRIF关键点检测器在两个数据集中均优于BRISK，尤其在大规模场景中表现更优，表明关键点检测器的选择对性能影响显著，尤其在二值化描述符中更为明显。