[论文解读] Cross-Task Transfer for Geotagged Audiovisual Aerial Scene Recognition

Di Hu, Xuhong Li+6 more|arXiv (Cornell University)|May 18, 2020

Music and Audio Processing参考文献 37被引用 5

一句话总结

本文提出了一种新颖的跨任务迁移框架，用于地理标记的音视频航拍场景识别，利用声音事件知识提升视觉场景分类性能。通过引入三种多模态学习方法——保留声音事件识别能力、学习互表示以及使用后验概率，该方法在新构建的ADVANCE数据集上实现了显著的性能提升，证明了音频线索可超越单一视觉模态，增强航拍场景识别能力。

ABSTRACT

Aerial scene recognition is a fundamental task in remote sensing and has recently received increased interest. While the visual information from overhead images with powerful models and efficient algorithms yields considerable performance on scene recognition, it still suffers from the variation of ground objects, lighting conditions etc. Inspired by the multi-channel perception theory in cognition science, in this paper, for improving the performance on the aerial scene recognition, we explore a novel audiovisual aerial scene recognition task using both images and sounds as input. Based on an observation that some specific sound events are more likely to be heard at a given geographic location, we propose to exploit the knowledge from the sound events to improve the performance on the aerial scene recognition. For this purpose, we have constructed a new dataset named AuDio Visual Aerial sceNe reCognition datasEt (ADVANCE). With the help of this dataset, we evaluate three proposed approaches for transferring the sound event knowledge to the aerial scene recognition task in a multimodal learning framework, and show the benefit of exploiting the audio information for the aerial scene recognition. The source code is publicly available for reproducibility purposes.

研究动机与目标

• 解决在光照、传感器和季节条件变化下仅依赖视觉的航拍场景识别的局限性。
• 探究地理标记的声音事件是否能提供互补的、与位置无关的线索，以改善航拍场景分类。
• 开发并验证一种将声音事件识别知识迁移至航拍场景识别的多模态学习框架。
• 构建一个大规模、全球多样化的配对地理标记航拍图像与音频片段数据集，用于基准测试。
• 证明跨任务迁移在利用声音事件与场景类别之间固有相关性方面的有效性。

提出的方法

• 提出了一种使用配对地理标记图像与音频片段的新型音视频航拍场景识别任务。
• 构建了包含5075对图像-声音的ADVANCE数据集，涵盖13种全球场景类别。
• 设计了三种跨任务迁移方法：(1) 保留声音事件识别能力，(2) 在模态间学习互表示，(3) 使用给定场景的声音事件后验概率。
• 构建了一个多任务学习框架，引入辅助损失函数：$L_{SQ|N_{v+a}}$、$L_{KL|N_{v+a}}$ 和 $L_E$，以建模从场景到事件及从事件到场景的迁移。
• 采用类激活映射（CAM）和t-SNE可视化方法，解释模型注意力机制与嵌入解耦情况。
• 通过消融研究与交叉验证，评估各组件对识别性能的贡献。

实验结果

研究问题

• RQ1 地理标记的声音事件是否能提供可靠的位置特定线索，使航拍场景识别性能超越仅使用视觉数据？
• RQ2 如何有效将声音事件识别的知识迁移至提升视觉航拍场景分类？
• RQ3 不同跨任务迁移机制——保留模态特异性能力、学习互表示或建模后验概率——对识别准确率的影响如何？
• RQ4 声音事件与场景类别之间的相关性在多大程度上提升了模型在多样化地理区域中的泛化能力？
• RQ5 通过跨任务迁移实现的多模态融合是否优于视觉与音频特征的简单拼接？

主要发现

• 所提出的跨任务迁移框架显著提升了航拍场景识别性能，优于单模态视觉模型与简单的特征拼接方法。
• 采用后验概率方法（$L_E$）在图像模态上实现了73.44 ± 0.45的最高F-score，优于基线模型（64.04 ± 1.07 F-score）及其他变体。
• 消融研究证实，场景到事件迁移（$L_{E_1}$）与事件相关性建模（$L_{E_2}$）共同提升性能，F-score从42.50 ± 0.42提升至48.65 ± 0.85。
• t-SNE可视化显示，多模态跨任务模型（$L_{SQ|N_{v+a}}$ 与 $L_E$）成功根据预测的声音事件分布分离了场景类别，而单模态或对齐不佳的方法则未能实现。
• 仅使用声音的基线模型在$L_{E_1}$设置下实现了54.23 ± 1.14的F-score，表明当正确迁移时，仅靠声音知识即可支持有意义的场景区分。
• 本研究证实，跨任务迁移能有效利用声音事件与地理场景之间的内在相关性，实现在多样化遥感条件下的鲁棒且可泛化的识别。