[论文解读] Multi-task Regularization Based on Infrequent Classes for Audio Captioning

Emre Çakır, Konstantinos Drossos+1 more|arXiv (Cornell University)|Jul 9, 2020

Music and Audio Processing参考文献 21被引用 18

一句话总结

该论文提出了一种用于音频字幕的多任务正则化方法，通过按词频倒数加权损失并引入片段级内容词检测的辅助任务来解决类别不平衡问题。在Clotho数据集上，该方法相比基线模型在SPIDEr指标上实现了37%的相对提升，表明其在学习信息性内容词方面表现更优，同时减少了对功能词的过拟合。

ABSTRACT

Audio captioning is a multi-modal task, focusing on using natural language for describing the contents of general audio. Most audio captioning methods are based on deep neural networks, employing an encoder-decoder scheme and a dataset with audio clips and corresponding natural language descriptions (i.e. captions). A significant challenge for audio captioning is the distribution of words in the captions: some words are very frequent but acoustically non-informative, i.e. the function words (e.g. "a", "the"), and other words are infrequent but informative, i.e. the content words (e.g. adjectives, nouns). In this paper we propose two methods to mitigate this class imbalance problem. First, in an autoencoder setting for audio captioning, we weigh each word's contribution to the training loss inversely proportional to its number of occurrences in the whole dataset. Secondly, in addition to multi-class, word-level audio captioning task, we define a multi-label side task based on clip-level content word detection by training a separate decoder. We use the loss from the second task to regularize the jointly trained encoder for the audio captioning task. We evaluate our method using Clotho, a recently published, wide-scale audio captioning dataset, and our results show an increase of 37\% relative improvement with SPIDEr metric over the baseline method.

研究动机与目标

• 解决音频字幕中频繁出现的功能词主导训练损失的问题，从而阻碍信息性内容词的学习。
• 通过引入专注于在片段级别检测内容词的辅助任务，提升模型的泛化能力。
• 通过与内容词检测头联合进行多任务学习，增强音频编码器的表征学习能力。
• 评估损失加权和多任务正则化在DCASE 2020 Clotho基准上的有效性。
• 通过优先考虑声学上有信息量的内容词而非功能词，生成更具语义准确性的字幕。

提出的方法

• 模型采用基于双向GRU编码器和GRU解码器的序列到序列自动编码器，处理具有64个频带的对数梅尔倒谱图。
• 通过与数据集中每个词的频率成反比的方式加权交叉熵损失，对词级别字幕任务进行正则化。
• 并行训练一个独立的多标签内容词检测头，使用专用解码器和分类器，预测每个音频片段中内容词的存在情况。
• 利用内容词检测任务的损失来正则化共享编码器，提升其捕捉判别性音频特征的能力。
• 联合训练过程同时优化字幕生成和内容词检测目标，共享编码器参数。
• 超参数与基线模型保持一致以确保公平比较，包括32的批量大小、初始为1e-4的学习率的Adam优化器，以及在100个周期内无改进时停止训练。

实验结果

研究问题

• RQ1 词级别损失的逆频率加权是否能改善音频字幕中罕见但信息量大的内容词的学习？
• RQ2 引入多标签内容词检测辅助任务是否能增强编码器对音频字幕的表征能力？
• RQ3 基于稀有类别的多任务正则化在Clotho数据集上在多大程度上提升了字幕生成性能？
• RQ4 损失加权与辅助任务监督的结合如何影响生成字幕的语法正确性和语义丰富度？
• RQ5 所提方法是否能在保持或提升整体字幕质量的同时，减少对功能词的过拟合？

主要发现

• 所提方法CWR-WL-CAPS相比基线模型在SPIDEr指标上实现了37%的相对提升，得分从5.4提升至7.4。
• 该方法在所有主要指标上均有提升：CIDEr从7.4提升至10.7，SPICE从3.3提升至4.0，BLEU-1从38.9提升至40.9。
• 加入加权损失（CWR-CAPS）本身已优于基线，表明基于频率的损失重加权具有显著益处。
• 与仅使用损失加权相比，结合内容词检测的多任务正则化带来了更大的性能增益，尤其在对TF-IDF加权敏感的CIDEr指标上。
• 尽管性能有所提升，生成的字幕仍缺乏正确的语法结构，功能词如'is'、'are'和'and'在句尾重复出现。
• 作者指出未来需整合语言模型以提升句法质量，认为这是后续工作的关键方向。