[論文レビュー] A Novel Multi-Task Learning Method for Symbolic Music Emotion Recognition

Qiu Jibao, C. L. Philip Chen+1 more|arXiv (Cornell University)|Jan 15, 2022

Music and Audio Processing被引用数 9

ひとこと要約

本稿では、感情認識に加えてキーやベロシティ分類を補助タスクとして統合する、シンボリック・ミュージック・エモーション認識（SMER）のための新規マルチタスク学習フレームワークMT-SMNNを提案する。音楽の内在的構造（キーサイニチュアとベロシティ値）を追加の手動アノテーションを必要とせずに活用することで、EMOPIAでは4.17%、VGMIDIでは1.97%の精度向上を達成し、最先端性能を実現した。

ABSTRACT

Symbolic Music Emotion Recognition(SMER) is to predict music emotion from symbolic data, such as MIDI and MusicXML. Previous work mainly focused on learning better representation via (mask) language model pre-training but ignored the intrinsic structure of the music, which is extremely important to the emotional expression of music. In this paper, we present a simple multi-task framework for SMER, which incorporates the emotion recognition task with other emotion-related auxiliary tasks derived from the intrinsic structure of the music. The results show that our multi-task framework can be adapted to different models. Moreover, the labels of auxiliary tasks are easy to be obtained, which means our multi-task methods do not require manually annotated labels other than emotion. Conducting on two publicly available datasets (EMOPIA and VGMIDI), the experiments show that our methods perform better in SMER task. Specifically, accuracy has been increased by 4.17 absolute point to 67.58 in EMOPIA dataset, and 1.97 absolute point to 55.85 in VGMIDI dataset. Ablation studies also show the effectiveness of multi-task methods designed in this paper.

研究の動機と目的

• 感情表現に重要な音楽的構造的特徴を無視する既存のSMER手法の限界を是正すること。
• キーやベロシティなど、音楽の内在的構造に由来する補助タスクを統合することで、シンボリック・ミュージック・エモーション認識を向上させること。
• トレーニングに感情ラベルのみを必要とし、シンボリック・ミュージック・データから自動的に抽出可能な補助ラベルを有するマルチタスクフレームワークの開発。
• 最小限の追加パラメータで、公開のSMERベンチマーク（EMOPIAおよびVGMIDI）において最先端の性能を達成すること。
• さまざまな事前学習モデルに適用可能な汎用的なフレームワークの構築。

提案手法

• 感情認識に加え、キーラベル分類とベロシティ分類という2つの補助タスクを同時に最適化するマルチタスク学習フレームワークMT-SMNNを提案する。
• シンボリック・ミュージック・データからキーサイニチュアを自動的に特定するため、Krumhansl-Kesslerアルゴリズムを用いることで、手動ラベルの必要性を排除する。
• MIDIファイルから直接ベロシティ値を抽出し、音量の代理指標として用いる。ベロシティと知覚的音量の既知の相関関係を活用する。
• 共有表現の上にタスク固有の分類器を追加することで、既存の事前学習モデル（例：MIDIBERT-Piano、MIDIGPT）に補助タスクを統合する。
• 交差エントロピー損失を感情、キーやベロシティ分類に適用するマルチタスク損失関数を用いて、モデルをエンドツーエンドで訓練する。
• 過学習を防ぎ、最適な性能を確保するため、訓練中にエアリー・ストッピングとモデルチェックポイントの適用を実施する。

実験結果

リサーチクエスチョン

• RQ1 キーやベロシティといった音楽的構造的特徴を統合することで、シンボリック・ミュージック・エモーション認識の性能が向上するか？
• RQ2 音楽の内在的構造に由来する補助タスクが、SMERモデルの一般化性能およびロバストネスに与える影響は何か？
• RQ3 提案されたマルチタスクフレームワークは、標準的なSMERベンチマークにおける事前学習モデルの単一タスク微調整を上回る性能を示すか？
• RQ4 性能向上はマルチタスク学習メカニズムによるものか、単に追加のパラメータによるものか？
• RQ5 キーラベル分類とベロシティ分類のうち、どちらの補助タスクが感情認識性能向上により寄与しているか？

主な発見

• MT-SMNNフレームワークは、EMOPIAデータセットで67.58%の新たな最先端精度を達成し、前回の最先端性能比で4.17%の絶対的向上を示した。
• VGMIDIデータセットでは55.85%の精度を達成し、前回の最先端性能比で1.97%の絶対的向上を示した。
• アブレーションスタディの結果、キーラベル分類とベロシティ分類の両タスクが感情認識を向上させることを確認した。特にキーラベル分類がより顕著な寄与を示し（3.6%の向上）、ベロシティ分類は1.3%の向上を示した。
• 混同行列の分析から、本フレームワークは特に高バイレンス度カテゴリー（Q1: Happy、Q4: Calm）の分類性能を向上させ、肯定的感情への感受性が向上していることが示された。
• 性能向上はモデル容量の増加ではなく、マルチタスク学習メカニズムに起因しており、追加の分類器によるパラメータ増加は最小限に抑えられた。
• 本フレームワークは汎用的であり、MIDIBERT-Piano や MIDIGPT などのさまざまな事前学習モデルに、アーキテクチャの変更なしに適用可能である。