[论文解读] Self-supervised Audiovisual Representation Learning for Remote Sensing Data

Konrad Heidler, Lichao Mou+6 more|arXiv (Cornell University)|Aug 2, 2021

Remote-Sensing Image Classification参考文献 55被引用 6

一句话总结

本文提出了一种用于遥感的自监督音视频表征学习框架，基于一种新颖的大规模数据集 SoundingEarth，该数据集将地理标记的航拍图像与相应的实地音频记录配对。通过使用小批量三元组损失对 ResNet 模型进行训练，使视觉和听觉嵌入在共享空间中对齐，该方法在多个遥感基准测试中实现了最先进（SOTA）的迁移学习性能，优于 ImageNet 和单模态预训练基线模型。

ABSTRACT

Many current deep learning approaches make extensive use of backbone networks pre-trained on large datasets like ImageNet, which are then fine-tuned to perform a certain task. In remote sensing, the lack of comparable large annotated datasets and the wide diversity of sensing platforms impedes similar developments. In order to contribute towards the availability of pre-trained backbone networks in remote sensing, we devise a self-supervised approach for pre-training deep neural networks. By exploiting the correspondence between geo-tagged audio recordings and remote sensing imagery, this is done in a completely label-free manner, eliminating the need for laborious manual annotation. For this purpose, we introduce the SoundingEarth dataset, which consists of co-located aerial imagery and audio samples all around the world. Using this dataset, we then pre-train ResNet models to map samples from both modalities into a common embedding space, which encourages the models to understand key properties of a scene that influence both visual and auditory appearance. To validate the usefulness of the proposed approach, we evaluate the transfer learning performance of pre-trained weights obtained against weights obtained through other means. By fine-tuning the models on a number of commonly used remote sensing datasets, we show that our approach outperforms existing pre-training strategies for remote sensing imagery. The dataset, code and pre-trained model weights will be available at https://github.com/khdlr/SoundingEarth.

研究动机与目标

• 为解决遥感领域中因标注数据集稀缺而导致的大规模、多模态、自监督预训练数据缺乏的问题。
• 开发一种无需标签的预训练方法，利用航拍图像与实地录音之间的自然对应关系，学习鲁棒且可泛化的表征。
• 构建一个大规模、共址的音视频数据集（SoundingEarth），以支持遥感中的多模态表征学习。
• 评估音视频自监督预训练在下游遥感任务（如分类、分割和跨模态检索）中的有效性。
• 证明联合音视频预训练相较于单模态或 ImageNet 预训练能带来更好的迁移性能。

提出的方法

• 作者引入了 SoundingEarth 数据集，包含来自 Radio Aporee（一个公共音频档案）的超过 50,000 对共址的航拍图像与实地音频记录。
• 采用一种新颖的小批量三元组损失，以自监督方式训练深度神经网络（ResNet），促使正样本图像-音频对在嵌入空间中比负样本对更接近。
• 损失函数结合了经典三元组损失与对比学习的优点，同时优化小批量内的困难负样本和全局对比监督。
• 音频特征提取为对数梅尔倒谱图（log-mel spectrograms），图像特征则通过 ResNet 主干网络提取，两种模态的嵌入均投影到共享的 d 维空间中。
• 该框架支持零样本或微调方式迁移到下游任务，如航拍图像分类、分割和跨模态检索。
• 通过自动指标（如 top-100 检索准确率）和人工评估（图灵测试）对方法进行评估，以验证语义对齐的质量。

Figure 1: Two examples of corresponding imagery and audio. From top to bottom: Aerial image, waveform, log-mel spectrogram. For visualization purposes, the audio data was clipped to the first 20 seconds, even though the full samples are much longer. They can be found at archive.org/details/aporee_46

实验结果

研究问题

• RQ1 在遥感数据中利用音视频对应关系进行自监督学习，是否能在无需人工标注的情况下提升表征质量？
• RQ2 与单模态或 ImageNet 预训练相比，联合音视频预训练是否能在下游遥感任务中带来更好的迁移性能？
• RQ3 所提出的批次级三元组损失与标准对比学习和三元组损失相比，在学习有效多模态表征方面表现如何？
• RQ4 所学习的表征在多大程度上捕捉了视觉场景与其对应声景之间的语义对齐？
• RQ5 人类评估者能否区分真实与模型预测的图像-音频对，从而反映所学习表征的质量？

主要发现

• 所提出的自监督音视频预训练方法在所有评估的下游遥感任务中，均优于 ImageNet 预训练和单模态预训练基线。
• 在航拍图像分类基准测试中，当在 EuroSAT 数据集上微调时，模型达到了 89.4% 的 top-1 准确率，优于 ImageNet 和单模态基线。
• 在跨模态检索任务中，ResNet-18 模型在 19.01% 的测试样本中将正确的音频样本排在前 100 名，中位排名为 744，表明具有较强的语义对齐能力。
• 在人工图灵测试中，参与者正确识别真实图像-音频对的比例为 71.6%，对模型预测对的识别准确率也达到 69.5%，验证了所学习表征的质量。
• 消融研究显示，所提出的批次级三元组损失在大多数任务中优于标准三元组损失和对比损失，但在检索任务中，对比损失表现更优，因其具有超球面嵌入约束。
• 结果表明，音视频对应关系为遥感中的自监督预训练提供了强有力的监督信号，使模型能够在多样化任务和模态间实现良好泛化。

Figure 2: Spatial distribution of samples in our SoundingEarth dataset.