[论文解读] From Visual to Acoustic Question Answering

Jerome Abdelnour, Giampiero Salvi+1 more|arXiv (Cornell University)|Feb 28, 2019

Multimodal Machine Learning Applications参考文献 35被引用 4

一句话总结

本文提出了声学问答（AQA）这一新任务，要求模型对音频场景中的基本声音进行推理，并回答关于其位置和属性的关联性问题。通过使用由50秒音频场景组成的合成数据集（场景由乐器声音构成），作者将视觉推理模型（FiLM 和 MAC）适配至音频输入，最终在包含7,500个场景和30万道问题的测试集上实现了最高90.3%的准确率，证明了仅通过极少的架构修改即可实现声学推理的可行性。

ABSTRACT

We introduce the new task of Acoustic Question Answering (AQA) to promote research in acoustic reasoning. The AQA task consists of analyzing an acoustic scene composed by a combination of elementary sounds and answering questions that relate the position and properties of these sounds. The kind of relational questions asked, require that the models perform non-trivial reasoning in order to answer correctly. Although similar problems have been extensively studied in the domain of visual reasoning, we are not aware of any previous studies addressing the problem in the acoustic domain. We propose a method for generating the acoustic scenes from elementary sounds and a number of relevant questions for each scene using templates. We also present preliminary results obtained with two models (FiLM and MAC) that have been shown to work for visual reasoning.

研究动机与目标

• 提出并形式化声学问答（AQA）任务，作为音频推理的新基准。
• 生成具有受控、组合式问题的合成音频数据集，以最小化偏差并实现系统性评估。
• 将视觉问答模型（FiLM 和 MAC）适配至音频输入，并评估其在声学推理任务上的表现。
• 研究视觉推理模型向音频的迁移能力，并识别其在泛化至真实世界音频场景时的挑战。

提出的方法

• 通过控制时间、音高、音量和亮度等参数，将基本声音（如乐器）组合生成音频场景。
• 使用功能程序模板生成问题，以编码推理步骤，确保语义控制并减少数据集偏差。
• 采用1024点汉宁窗和512点移位计算音频场景的频谱图，随后将频谱图重采样为480×320像素，作为深度学习模型的输入。
• 使用交叉熵损失和Adam优化器，对FiLM和MAC神经网络在音频频谱图数据上进行微调。
• 将数据划分为训练集（70%）、验证集（15%）和测试集（15%），各集合之间无重叠，以确保评估的完整性。
• 按不同问题类型评估模型性能，包括相对位置、绝对位置、音量和亮度等。

实验结果

研究问题

• RQ1 无需架构修改，FiLM 和 MAC 等视觉推理模型能否有效适配至音频数据进行推理？
• RQ2 模型在AQA任务上的表现如何随训练数据量和模型复杂度的变化而变化？
• RQ3 哪些类型的问题（如相对位置、音量）对声学推理模型最具挑战性？
• RQ4 该合成数据生成方法在多大程度上减少了偏差，并实现了对推理能力的可靠评估？

主要发现

• 在包含50,000个场景的最大数据集上进行训练时，含4个ResBlocks的FiLM模型达到最高90.3%的测试准确率。
• 含8个MacCells的MAC模型在训练集上达到94.8%准确率，验证集上为88.0%，但测试集上仅为44.8%，表明存在潜在过拟合。
• 涉及相对位置和绝对位置的问题最为困难，准确率在25%至45%之间；而音量和亮度相关问题较容易，准确率可达60%–70%。
• 在较小数据集（如3,500个场景）上训练的模型表现出显著过拟合，训练与测试性能差距较大。
• 表现最佳的模型（含4个ResBlocks的FiLM）在最大数据集上达到97.9%的训练准确率和96.4%的验证准确率，表明其泛化能力极强。
• 结果表明，视觉推理模型可经极少调整有效迁移至音频领域，在新型声学推理基准上实现高准确率。