[論文レビュー] Symbolic Music Representations for Classification Tasks: A Systematic Evaluation

Huan Zhang, Emmanouil Karystinaios+3 more|arXiv (Cornell University)|Sep 5, 2023

Music and Audio ProcessingComputer Science被引用数 3

ひとこと要約

この論文は、畳み込みニューラルネットワーク（CNN）、変換器（Transformer）、グラフニューラルネットワーク（GNN）を用いて、記号的音楽分類のための行列（ピアノロール）、系列（トークン化された音楽）、グラフ表現を体系的に評価している。本研究では、演奏用の新しいグラフ表現を提案し、グラフベースのモデルが低い学習複雑性で競争力ある性能を達成しており、作曲家特定や難易度分類といった重要なタスクで従来手法を上回っていることが判明した。

ABSTRACT

Music Information Retrieval (MIR) has seen a recent surge in deep learning-based approaches, which often involve encoding symbolic music (i.e., music represented in terms of discrete note events) in an image-like or language like fashion. However, symbolic music is neither an image nor a sentence, and research in the symbolic domain lacks a comprehensive overview of the different available representations. In this paper, we investigate matrix (piano roll), sequence, and graph representations and their corresponding neural architectures, in combination with symbolic scores and performances on three piece-level classification tasks. We also introduce a novel graph representation for symbolic performances and explore the capability of graph representations in global classification tasks. Our systematic evaluation shows advantages and limitations of each input representation. Our results suggest that the graph representation, as the newest and least explored among the three approaches, exhibits promising performance, while being more light-weight in training.

研究の動機と目的

• 記号的音楽分類のための行列、系列、グラフ表現の性能と効率を評価すること。
• スコアと演奏の両方が分類タスクに与える影響を比較すること。
• 記号的演奏用の新しいグラフ表現を提案し、その有効性を評価すること。
• グラフ表現が、確立された画像的・言語的アプローチを上回る可能性があるかどうかを調査すること。

提案手法

• 記号的音楽をピアノロール（行列）、トークン化された系列（系列）、音楽的エッジを持つ構造的グラフ（グラフ）として表現する。
• 各表現に対して畳み込みニューラルネットワーク（CNN）、変換器、グラフニューラルネットワーク（GNN）を訓練・評価する。
• スコアと演奏からピッチ、持続時間、ボイス、メトロニズム構造を符号化する非同質的グラフ表現を構築する。
• 変換器で学習された注目メカニズムとグラフの構造的エッジを比較するために注目可視化を適用する。
• スコア-演奏データセットにおけるアルバム効果を軽減するために、新しいデータ分割を適用する。
• 3つのピeceレベルのタスク（作曲家分類、演奏者分類、難易度評価）でモデルを評価する。

実験結果

リサーチクエスチョン

• RQ1 記号的音楽分類において、行列、系列、グラフ表現は性能と学習効率の点でどのように比較されるか？
• RQ2 スコアと演奏を入力データとして使用する際の分類精度への影響は何か？
• RQ3 記号的演奏用の新しいグラフ表現は、既存の表現と比較して競争力ある結果を達成できるか？
• RQ4 変換器の注目メカニズムとグラフ表現の構造的エッジの関係は何か？
• RQ5 スコア-演奏データセットにおけるアルバム効果がモデルの汎化性能に与える影響はどの程度で、どのように軽減できるか？

主な発見

• グラフ表現は、高度な特徴を用いたスコアにおける作曲家分類で最高の正解率87.3％を達成し、行列および系列アプローチを上回った。
• 行列表現は、全タスクにわたりわずかに高い平均性能と、ハイパーパramータの変更に対してより高いロバスト性を示した。
• 系列ベースのモデルは、語彙サイズの増加とデータスパarsityの影響により、高度な特徴の恩恵を顕著に受けていなかった。
• ボイスエッジの追加によりグラフ性能が向上し、特にスコアベースの分類で顕著だった。これは構造モデリングの利点を示している。
• 変換器で学習された注目とグラフの構造的エッジの間に弱い正の相関（ピアソン相関係数 r = 0.212）が見られ、部分的な一致は示唆されたが、受容 field は異なることがわかった。
• より小さなニューラルアーキテクチャでも、より大きなモデルと同等の性能を達成した。これは、現在のモデルがピeceレベル分類タスクに対してしばしば過パラメータ化されている可能性を示している。