[论文解读] Geo-Aware Networks for Fine-Grained Recognition

Grace Chu, Brian Potetz+6 more|arXiv (Cornell University)|Jun 4, 2019

Advanced Neural Network Applications参考文献 23被引用 7

一句话总结

本文提出地理感知网络，通过后处理、特征调制或地理先验等方式整合地理位置数据，以提升细粒度图像识别性能。通过引入两个新的地理标注数据集（iNaturalist 和 YFCC100M），在 iNaturalist 上将 top-1 准确率从 70.1% 提升至 79.0%（采用后处理方法），在 MobileNetV2 上从 59.6% 提升至 72.2%，即使在资源受限的模型上也实现了显著提升。

ABSTRACT

Fine-grained recognition distinguishes among categories with subtle visual differences. In order to differentiate between these challenging visual categories, it is helpful to leverage additional information. Geolocation is a rich source of additional information that can be used to improve fine-grained classification accuracy, but has been understudied. Our contributions to this field are twofold. First, to the best of our knowledge, this is the first paper which systematically examined various ways of incorporating geolocation information into fine-grained image classification through the use of geolocation priors, post-processing or feature modulation. Secondly, to overcome the situation where no fine-grained dataset has complete geolocation information, we release two fine-grained datasets with geolocation by providing complementary information to existing popular datasets - iNaturalist and YFCC100M. By leveraging geolocation information we improve top-1 accuracy in iNaturalist from 70.1% to 79.0% for a strong baseline image-only model. Comparing several models, we found that best performance was achieved by a post-processing model that consumed the output of the image-only baseline alongside geolocation. However, for a resource-constrained model (MobileNetV2), performance was better with a feature modulation model that trains jointly over pixels and geolocation: accuracy increased from 59.6% to 72.2%. Our work makes a strong case for incorporating geolocation information in fine-grained recognition models for both server and on-device.

研究动机与目标

• 解决细粒度识别的挑战，即类别之间的视觉差异（如鸟类物种）细微，仅靠图像难以区分。
• 探究地理位置（特别是原始纬度和经度）是否可作为强大且未被充分利用的信号，提升细粒度识别的分类准确率。
• 通过发布两个新数据集（iNaturalist-Geo 和 YFCC100M-Geo），克服公开可用的细粒度数据集中缺乏完整地理位置标注的问题。
• 系统评估三种不同的地理位置整合方法：地理位置先验、后处理和特征调制，在不同模型架构下的表现。
• 证明地理位置整合在小型、设备端模型（如 MobileNetV2）上尤为有效，其性能甚至优于更大的仅图像模型。

提出的方法

• 提出三种地理感知网络架构：(1) 使用贝叶斯推理或白名单过滤的地理位置先验；(2) 通过地理位置对预训练图像模型的 logits 进行重排序的后处理方法；(3) 通过调制卷积联合训练图像与地理位置特征的特征调制方法。
• 通过在预训练图像分类器的 logits 上应用学习到的地理位置网络来实现后处理，实现基于空间上下文的修正，而无需微调图像主干网络。
• 设计一种特征调制机制，其中地理位置嵌入动态调制网络中每个残差块的特征，实现视觉与空间信号的端到端联合学习。
• 发布两个新的细粒度数据集：iNaturalist-Geo（包含 iNaturalist 的地理位置信息）和 YFCC100M-Geo（包含 YFCC100M 的地理位置和细粒度标签），提升未来研究的数据可用性。
• 在 iNaturalist 和 YFCC100M-Geo 上训练并评估模型，比较大型模型（Inception V3）和小型模型（MobileNetV2）在不同地理感知设置下的性能表现。
• 结合真实世界地理位置数据与补充元数据（如标签）以增强地理位置信号，但核心方法仍依赖原始纬度/经度以保证简洁性和鲁棒性。

实验结果

研究问题

• RQ1 当作为辅助信号使用时，原始地理位置（纬度和经度）是否能显著提升细粒度识别的准确率？
• RQ2 在不同模型规模下，哪种地理位置整合方法——后处理、特征调制或地理位置先验——表现最佳？
• RQ3 地理位置的优势是否在大型服务器模型与小型设备端模型之间存在差异？若存在，原因是什么？
• RQ4 地理感知模型的性能在其他细粒度数据集上（尤其是标注质量较低的数据集）是否具有泛化能力？
• RQ5 地理位置信息是否能有效区分外观相似但地理分布不同的细粒度类别，例如具有重叠外观但分布不同的鸟类物种？

主要发现

• 在 iNaturalist 数据集上，使用 Inception V3 基线模型，通过地理位置后处理将 top-1 准确率从 70.1% 提升至 79.0%，相对提升 8.9%。
• 对于 MobileNetV2 模型，特征调制方法实现了 72.2% 的 top-1 准确率，超过仅图像模型的 70.1% 准确率（后者为更大的 Inception V3 模型），证明在资源受限设备上联合学习的价值。
• 在 MobileNetV2 上，特征调制优于后处理，因为后处理迫使图像模型浪费容量去区分地理信息可更高效解决的视觉相似类别。
• 在 YFCC100M-Geo 数据集上，后处理相比仅图像模型实现了 5.9% 的准确率提升，特征调制实现了 4.1% 的提升，但性能提升低于 iNaturalist，原因在于数据质量较低。
• 细粒度类别的地理位置分布（如西部灰松鼠与红腹啄木鸟）比粗粒度类别更集中，使得地理位置成为细粒度识别中更有效的消歧信号。
• iNaturalist-Geo 和 YFCC100M-Geo 的发布，提供了首个公开可用、大规模的带有完整地理位置标注的细粒度数据集，为未来地理感知学习研究铺平道路。