Skip to main content
QUICK REVIEW

[논문 리뷰] EMOPIA: A Multi-Modal Pop Piano Dataset For Emotion Recognition and Emotion-based Music Generation

Hsiao-Tzu Hung, Joann Ching|arXiv (Cornell University)|2021. 08. 03.
Music and Audio ProcessingComputer Science인용 수 30
한 줄 요약

EMOPIA는 오디오와 MIDI의 다중 모달 데이터셋으로, 4분면의 밸런스-활성(Valence-Arousal) 분류를 위한 클립 수준의 감정 라벨이 부여된 팝 피아노 클립을 제공합니다. 이는 감정 인식 및 감정 조건부 기호 음악 생성에 활용됩니다. 이 데이터셋은 MIDI 전사 및 YouTube 오디오 링크가 포함된 387곡의 1,087개 클립과 분류 및 생성을 위한 베이스라인 모델을 포함합니다.

ABSTRACT

While there are many music datasets with emotion labels in the literature, they cannot be used for research on symbolic-domain music analysis or generation, as there are usually audio files only. In this paper, we present the EMOPIA (pronounced `yee-mò-pi-uh') dataset, a shared multi-modal (audio and MIDI) database focusing on perceived emotion in pop piano music, to facilitate research on various tasks related to music emotion. The dataset contains 1,087 music clips from 387 songs and clip-level emotion labels annotated by four dedicated annotators. Since the clips are not restricted to one clip per song, they can also be used for song-level analysis. We present the methodology for building the dataset, covering the song list curation, clip selection, and emotion annotation processes. Moreover, we prototype use cases on clip-level music emotion classification and emotion-based symbolic music generation by training and evaluating corresponding models using the dataset. The result demonstrates the potential of EMOPIA for being used in future exploration on piano emotion-related MIR tasks.

연구 동기 및 목표

  • 심볼릭 도메인 MIR 연구 및 생성 지원을 위한 중간 규모의 다중 모달 감정 레이블이 부여된 피아노 데이터셋 제공.
  • Russell의 4Q 밸런스-활성 모델과 정렬된 클립 수준의 감정 주석 가능.
  • 오디오와 심볼릭 도메인 모두에서 감정 인식 기반 음악 라벨링 및 생성 연구 촉진.

제안 방법

  • 고음질 녹음이 포함된 YouTube의 피아노 중심 오디오를 수집하고 감정적으로 일관된 클립을 수동으로 구간화한다.
  • 최신 피아노 트랜스크립션 모델을 사용하여 오디오로부터 MIDI를 자동 전사하고 오디오와 일치시킨다.
  • Russell의 밸런스-활성 사분면(HVHA, HVLA, LVHA, LVLA)에 따라 클립에 네 가지 감정 라벨을 주석으로 표시한다.
  • 모델링을 위해 MIDI-유사(MIDI-like), REMI, CP 토크나이제이션을 사용하여 기호 데이터를 표현한다.
  • 심볼릭 및 오디오 도메인에서 클립 수준의 감정 분류 모델을 학습하고 평가한다.
  • Transformer 기반 및 LSTM 기반 아키텍처를 사용한 감정 조건부 기호 음악 생성을 시연한다.

실험 결과

연구 질문

  • RQ1MIDI-like, REMI, CP 표현으로부터 클립 수준의 감정을 얼마나 잘 분류할 수 있는가?
  • RQ2동일한 4분면 체계에서 오디오 도메인 특징이 클립 수준의 감정을 얼마나 잘 분류할 수 있는가?
  • RQ3감정 조건부 기호 음악 생성이 생성된 피아노 곡에서 통제 가능한 밸런스/활성(valence/arousal)을 만들어낼 수 있는가?

주요 결과

  • 심볼릭 도메인 분류기는 4분면 및 밸런스/활성 작업에서 높은 정확도를 달성하며, MIDI-like 표현은 밸런스(Valence) 측에서 좋은 성능을 보인다.
  • 오디오 도메인 분류기들은 MFCC 기반 특징 및 짧은 청크 ResNet이 강력한 베이스라인을 제공하며 경쟁력 있는 성능을 보인다.
  • 밸런스 분류는 표현과 모달리티 전반에서 일반적으로 활성보다 더 어려운 편이다.
  • 사전 학습이 포함된 Transformer 기반 생성은 주관적 평가에 따라 생성된 조각의 감정을 더 잘 제어할 수 있다.
  • 자동 감정 분류기가 더 약한 정렬을 보여도 인간 평가에서 생성 샘플은 감정 제어 가능성을 보인다.

이 논문 읽기

누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.

누빈트에서 이 논문 읽기

이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.