[论文解读] AudioSentibank: Large-scale Semantic Ontology of Acoustic Concepts for Audio Content Analysis.

Sebastian Säger, Damian Borth+5 more|arXiv (Cornell University)|Jul 13, 2016

Music and Audio Processing参考文献 14被引用 5

一句话总结

本文提出了 AudioSentiBank，一个包含超过 1,123 对形容词-动词及名词-形容词声学概念的大型folksonomy，以实现语义音频内容分析。该研究提出了一项基准测试，用于对这些概念对进行分类，证明成对的语义表示能够捕捉到单个概念无法体现的细微情感与上下文音频信息。

ABSTRACT

Audio carries substantial information about the content of our surroundings. The content has been explored at the semantic level using acoustic concepts, but rarely on concept pairs such as happy crowd and angry crowd. Concept pairs convey unique information and complement other audio and multimedia applications. Hence, in this work we explored for the first time the classification's performance of acoustic concepts pairs. For this study, we introduce the AudioSentiBank corpus, which is a large-scale folksology containing over 1,123 adjective and verb noun pairs. Our contribution consists on providing the research corpus, the benchmark for classification of acoustic concept pairs, and an analysis on the pairs.

研究动机与目标

• 解决音频分析中成对声学概念缺乏大规模语义资源的问题。
• 探索如 'happy crowd' 或 'angry crowd' 等概念对相较于孤立概念所传递的独特信息。
• 为音频中声学概念对的分类建立基准。
• 分析这些概念对在真实音频场景中所捕捉的语义与感知差异。

提出的方法

• 构建一个包含 1,123 对形容词-动词及名词-形容词声学概念对的大型folksonomy。
• 收集并标注与每个概念对相对应的音频样本，以形成 AudioSentiBank 语料库。
• 设计一项基于深度神经网络的分类基准，从原始音频特征中预测概念对标签。
• 使用音频嵌入与迁移学习技术，以提升在所提出基准上的分类性能。
• 在多样化的声学概念对上评估模型性能，以评估语义可区分性。

实验结果

研究问题

• RQ1 与单个概念相比，音频模型对声学概念对的分类效果如何？
• RQ2 哪些类型的声学概念对在音频中传递了最具区分性的信息？
• RQ3 概念对的语义结构如何与音频中的感知与情感内容相关联？
• RQ4 成对表示在多大程度上提升了下游音频理解任务的性能？

主要发现

• AudioSentiBank 语料库包含超过 1,123 个不同的声学概念对，构成了音频语义本体的丰富体系。
• 对概念对的分类表现表明，成对语义能够捕捉到孤立概念中无法体现的细微情感与上下文差异。
• 该基准揭示，某些概念对如 'happy crowd' 和 'angry crowd' 具有高度区分性，可被可靠分类。
• 研究证实，概念对为音频内容分析提供了互补信息，显著提升了单标签分类之外的语义理解能力。