[论文解读] Exploring Fine-Grained Audiovisual Categorization with the SSW60 Dataset

Grant Van Horn, Rui Qian+4 more|arXiv (Cornell University)|Jul 21, 2022

Music and Audio Processing被引用 5

一句话总结

本文介绍了 SSW60，这是一个由专家精心整理的新数据集，包含60种鸟类，配有配对的图像、音频和视频，用于细粒度的视听分类。通过使用最先进的基于Transformer的融合方法，作者证明了视听融合在性能上始终优于单模态模型，达到了80.6%的top-1准确率，并揭示了在未配对音频上进行预训练可显著提升性能，而图像预训练有时反而会损害性能。

ABSTRACT

We present a new benchmark dataset, Sapsucker Woods 60 (SSW60), for advancing research on audiovisual fine-grained categorization. While our community has made great strides in fine-grained visual categorization on images, the counterparts in audio and video fine-grained categorization are relatively unexplored. To encourage advancements in this space, we have carefully constructed the SSW60 dataset to enable researchers to experiment with classifying the same set of categories in three different modalities: images, audio, and video. The dataset covers 60 species of birds and is comprised of images from existing datasets, and brand new, expert-curated audio and video datasets. We thoroughly benchmark audiovisual classification performance and modality fusion experiments through the use of state-of-the-art transformer methods. Our findings show that performance of audiovisual fusion methods is better than using exclusively image or audio based methods for the task of video classification. We also present interesting modality transfer experiments, enabled by the unique construction of SSW60 to encompass three different modalities. We hope the SSW60 dataset and accompanying baselines spur research in this fascinating area.

研究动机与目标

• 为自然类别（如鸟类）中的细粒度视听分类解决高质量多模态数据集缺乏的问题。
• 实现对图像、音频和视频中跨模态学习与融合的系统性研究。
• 在一个共享的、专家精心整理的60种鸟类数据集上，对视听融合和预训练策略的有效性进行基准测试。
• 为未来在多模态细粒度分类领域的研究提供基础，特别是针对生物多样性监测和实时部署。

提出的方法

• 构建 SSW60 数据集，包含5,400段十秒长的视频片段、3,861段十秒长的音频录音，以及来自 NABirds 和 iNaturalist 的图像数据，覆盖60种鸟类。
• 使用最先进的视觉和音频Transformer（如 MBT）作为视觉和音频特征提取的主干网络。
• 应用多种融合策略：晚期融合、分数融合和中间融合（MBT），以结合音频和视觉的预测结果。
• 在外部数据集（ImageNet、NABirds、iNaturalist 和未配对音频）上进行预训练，随后在 SSW60 视频数据上进行微调，以评估迁移学习效果。
• 使用60分类任务的top-1准确率评估模态特定模型和融合模型的性能。
• 对各类别融合性能进行分析，以识别在哪些物种上融合能提升或降低准确率。

实验结果

研究问题

• RQ1 在细粒度鸟类物种识别中，视听融合与单模态分类相比表现如何？
• RQ2 在 SSW60 数据集上，哪种融合策略——晚期融合、分数融合还是中间融合——表现最佳？
• RQ3 在外部图像和音频数据集上进行预训练，如何影响在 SSW60 视频分类任务上的下游性能？
• RQ4 对于特定鸟类物种，哪种模态（音频或视觉）更有效？在何种情况下融合能提升或损害性能？
• RQ5 通过使用未配对的图像和音频进行模态迁移实验，能获得哪些关于视频分类的见解？

主要发现

• 视听融合始终优于单模态模型，最佳融合方法达到了80.6%的top-1准确率，超过任何单一模态。
• 在不同的预训练配置下，晚期融合和分数融合优于中间融合（MBT），表明没有一种融合方法在所有情况下都是最优的。
• 在未配对音频录音上进行预训练可显著提升性能，当在 SSW60 音频通道上微调时，top-1准确率提升了约20%。
• 在高质量图像（如 NABirds 或 iNaturalist）上进行预训练有时会降低性能，表明可能存在领域偏移或过拟合风险。
• 融合在27种物种上提升了性能，在27种上保持了准确率，在6种上降低了准确率，表明融合并非普遍有益，其效果取决于物种特有的模态优势。
• 结果证实音频和视觉模态具有互补性：对于视觉上易混淆但声音不同的物种（如美国乌鸦与普通渡鸦），音频能带来帮助；而对于声音相似但视觉上不同的物种（如黄林莺与栗色侧斑林莺），视觉则更有效。