Skip to main content
QUICK REVIEW

[论文解读] EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation

Hsiao-Tzu Hung, Joann Ching|arXiv (Cornell University)|Aug 3, 2021
Music and Audio ProcessingComputer Science被引用 30
一句话总结

EMOPIA 提供了一个多模态(音频与 MIDI)流行钢琴片段数据集,带有面向四象限情绪-价性唤醒分类的片段级情绪标签,可实现情感识别和情感条件符号音乐生成。数据集包含来自 387 首歌的 1,087 条片段及其 MIDI 转录和 YouTube 音频链接,并附带用于分类和生成的基线模型。

ABSTRACT

While there are many music datasets with emotion labels in the literature, they cannot be used for research on symbolic-domain music analysis or generation, as there are usually audio files only. In this paper, we present the EMOPIA (pronounced `yee-mò-pi-uh') dataset, a shared multi-modal (audio and MIDI) database focusing on perceived emotion in pop piano music, to facilitate research on various tasks related to music emotion. The dataset contains 1,087 music clips from 387 songs and clip-level emotion labels annotated by four dedicated annotators. Since the clips are not restricted to one clip per song, they can also be used for song-level analysis. We present the methodology for building the dataset, covering the song list curation, clip selection, and emotion annotation processes. Moreover, we prototype use cases on clip-level music emotion classification and emotion-based symbolic music generation by training and evaluating corresponding models using the dataset. The result demonstrates the potential of EMOPIA for being used in future exploration on piano emotion-related MIR tasks.

研究动机与目标

  • 提供一个中等规模、面向符号域的情感标注钢琴数据集,以支持符号域音乐信息检索(MIR)研究与生成。
  • 使片段级情绪标注与 Russell 的四象限价性-唤醒模型对齐。
  • 促进在音频域和符号域中与情绪相关的音乐标注与生成研究。

提出的方法

  • 从 YouTube 收集高质量钢琴音频,并手动将情绪一致的片段分割。
  • 利用最先进的钢琴转录模型从音频自动转录 MIDI,并与音频对齐。
  • 基于 Russell 的价性-唤醒象限(HVHA、HVLA、LVHA、LVLA)为片段标签四个情感标签标注。
  • 使用 MIDI-like、REMI 和 CP 表征对符号数据进行建模表示。
  • 在符号域和音频域中训练并评估片段级情绪分类模型。
  • 演示基于 Transformer 与基于 LSTM 的架构的情绪条件符号音乐生成。

实验结果

研究问题

  • RQ1从符号表示的 MIDI-like、REMI 和 CP 表征中,片段级情绪的分类性能有多好?
  • RQ2音频域特征在相同的四象限方案中对片段级情绪的分类性能有多好?
  • RQ3情绪条件的符号音乐生成是否能在生成的钢琴曲中实现可控的价性/唤醒?

主要发现

  • 符号域分类器在四象限和价性/唤醒任务中取得高准确度,MIDI-like 表征在价性方面表现良好。
  • 音频域分类器显示出竞争力的性能,基于 MFCC 的特征和短片段 ResNet 提供强基线。
  • 在各种表征和模态中,价性通常比唤醒更具挑战性。
  • 基于 Transformer 的预训练生成在主观评估中能更好地控制生成作品的情感。
  • 在人工评估中,生成样本展示出情感可控性,即使自动情感分类器的对齐较弱。

阅读本论文

在 Nubint 阅读器中打开原文,边读边就任意段落提问。

在 Nubint 中阅读本论文

本解读由 AI 根据论文原文生成,引用前请核对原文。