[论文解读] Improving the HardNet Descriptor

Milan Pultar|arXiv (Cornell University)|Jul 19, 2020

Advanced Image and Video Retrieval Techniques参考文献 70被引用 9

一句话总结

该论文通过引入一个新数据集（AMOS Patches）以提升光照和外观变化下的鲁棒性、优化训练策略以及改进网络结构，从而改进了HardNet局部特征描述符。HardNet8在结合数据集上进行PCA压缩与超参数调优训练后，在HPatches、AMOS Patches和IMW Phototourism基准上均达到当前最优性能，其专用变体在立体匹配任务中也超越了先前方法。

ABSTRACT

In the thesis we consider the problem of local feature descriptor learning for wide baseline stereo focusing on the HardNet descriptor, which is close to state-of-the-art. AMOS Patches dataset is introduced, which improves robustness to illumination and appearance changes. It is based on registered images from selected cameras from the AMOS dataset. We provide recommendations on the patch dataset creation process and evaluate HardNet trained on data of different modalities. We also introduce a dataset combination and reduction methods, that allow comparable performance on a significantly smaller dataset. HardNet8, consistently outperforming the original HardNet, benefits from the architectural choices made: connectivity pattern, final pooling, receptive field, CNN building blocks found by manual or automatic search algorithms -- DARTS. We show impact of overlooked hyperparameters such as batch size and length of training on the descriptor quality. PCA dimensionality reduction further boosts performance and also reduces memory footprint. Finally, the insights gained lead to two HardNet8 descriptors: one performing well on a variety of benchmarks -- HPatches, AMOS Patches and IMW Phototourism, the other is optimized for IMW Phototourism.

研究动机与目标

• 提升HardNet局部特征描述符在广基线立体匹配任务中的鲁棒性与性能。
• 构建一个新数据集AMOS Patches，利用AMOS数据集中已配准图像，增强对光照和外观变化的鲁棒性。
• 研究最优训练策略，包括数据集组合、数据量缩减、小批量大小、训练时长以及损失函数设计。
• 通过人工与DARTS-based搜索，探索连接模式、池化方式、感受野大小及CNN构建模块等架构选择对描述符性能的影响。
• 评估通过PCA压缩嵌入表示对描述符质量与内存效率的影响。

提出的方法

• 提出AMOS Patches数据集，从AMOS数据集中选定相机的配准图像构建，以提升对光照和外观变化的鲁棒性。
• 提出一种组合与缩减异构数据集的方法，使在显著减少训练数据量的情况下仍能实现高性能。
• 采用多阶段训练流程，使用广义损失函数并结合正样本对采样，小批量大小最高达9000，训练周期最长40个周期。
• 应用基于DARTS的神经架构搜索，识别出有效的CNN构建模块，倾向于选择VGG类而非ResNet类架构。
• 使用PCA将描述符嵌入压缩至128维，提升性能并降低内存占用。
• 训练两种变体：HardNet8-Univ（通用型）与HardNet8-PT（针对IMW Phototourism优化），分别采用领域特定的数据组合。

实验结果

研究问题

• RQ1 能否通过从配准图像中构建的新数据集提升局部描述符在挑战性基准上的性能？
• RQ2 在训练样本数量显著减少的情况下，数据集组合与缩减技术对描述符质量有何影响？
• RQ3 哪些架构选择（如连接模式、池化方式、感受野大小及CNN模块）能带来更好的描述符性能？
• RQ4 被忽视的超参数（如小批量大小与训练时长）对描述符质量有何影响？
• RQ5 基于PCA的描述符嵌入压缩在多大程度上能提升性能并减少内存使用？

主要发现

• AMOS Patches数据集显著提升了对光照和外观变化的鲁棒性，在HPatches与AMOS Patches基准上均优于基线描述符。
• HardNet8-Univ在完整HPatches划分上的平均平均精度（mAP）达到60.95，超过原始HardNet（52.79）与GeoDesc（59.15）。
• HardNet8-PT在IMW Phototourism Stereo 8k基准上的平均平均准确率（mAA）达到57.58，优于所有先前方法，包括GeoDesc（51.11）。
• 采用9000的小批量大小与40个周期的训练可获得更优的描述符质量，而较小批量与更短训练周期则导致性能下降。
• 将512维嵌入通过PCA压缩至128维后，IMW Phototourism的mAA提升2.5个百分点，同时显著降低内存使用。
• 通过过滤与组合将数据集规模缩减一个数量级后，性能仍保持相当水平，证明了数据利用效率的优越性。