[論文レビュー] Symphony Generation with Permutation Invariant Language Model

Jiafeng Liu, Yuanliang Dong+5 more|arXiv (Cornell University)|May 10, 2022

Music and Audio Processing被引用数 9

ひとこと要約

この論文は、3次元位置埋め込みとMusic BPEサブワードトークン化手法を備えた新しいMulti-track Multi-instrument Repeatable (MMR)表現を用いて、置換不変な言語モデルであるSymphonyNetを提案する。モデルは線形Transformerデコーダーと共同で楽器分類を活用し、一貫性があり、複雑で調和の取れた交響曲を生成し、多様性において人間の作曲を上回り、新規の大規模な交響曲データセットで最先端の結果を達成した。

ABSTRACT

In this work, we propose a permutation invariant language model, SymphonyNet, as a solution for symbolic symphony music generation. We propose a novel Multi-track Multi-instrument Repeatable (MMR) representation for symphonic music and model the music sequence using a Transformer-based auto-regressive language model with specific 3-D positional embedding. To overcome length overflow when modeling extra-long symphony tokens, we also propose a modified Byte Pair Encoding algorithm (Music BPE) for music tokens and introduce a novel linear transformer decoder architecture as a backbone. Meanwhile, we train the decoder to learn automatic orchestration as a joint task by masking instrument information from the input. We also introduce a large-scale symbolic symphony dataset for the advance of symphony generation research. Empirical results show that the proposed approach can generate coherent, novel, complex and harmonious symphony as a pioneer solution for multi-track multi-instrument symbolic music generation.

研究の動機と目的

• 標準的な1次元シーケンスモデリングでは十分に捉えきれない、半置換不変なマルチトラック・マルチインストゥルメントの交響曲音楽をモデル化する課題に対処すること。
• ノート、インターバル、コードのサブワードレベルでのトークン化にMusic BPEを導入することで、シーケンス長を短縮し、意味的豊かさを向上させること。
• 明示的な楽器入力を必要とせず、楽器予測を共同で学習することで、エンドツーエンドのオートオーケストレーションを可能にすること。
• 46,359件の交響曲MIDIファイルを含む大規模で高品質なデータセットをリリースすることで、交響曲生成研究を前進させること。
• 構造的・調和的整合性を保ちながら、超長大な交響曲シーケンスを処理できるスケーラブルなアーキテクチャの開発

提案手法

• 交響曲スコアをトラック、時間、ボイスの3次元テンソルとしてモデル化する、マルチトラック・マルチインストゥルメント・リピート可能な（MMR）表現を提案する。この表現により、半置換不変性が保持される。
• トラック、時間、ボイスの各次元における相対的位置関係を符号化する3次元位置埋め込みを導入し、オーケストラスコア内の空間的・時間的関係をモデルが理解できるようにする。
• 頻度に基づいてノートをインターバルやコードにグループ化するように学習する、変更を加えたByte Pair EncodingアルゴリズムであるMusic BPEを設計。これにより、1ノートあたりの平均トークン長が2.28から1.13に削減された。
• 標準的な自己注意の2次関数的複雑性を回避するため、長大な交響曲シーケンスを効率的に処理できる線形Transformerデコーダー・アーキテクチャを採用する。
• 楽器情報のマスキングを訓練中に実施することで、ノート分布に基づいたエンドツーエンドのオートオーケストレーションを可能にする共同学習タスクを訓練に導入する。
• 複数の楽器とトラックを含む、46,359件の高品質なMIDIファイルから構成される大規模なシンボリック交響曲データセットを構築し、訓練と評価を支援する。

実験結果

リサーチクエスチョン

• RQ1 置換不変な3次元位置埋め込みは、交響曲スコアの半置換不変構造を効果的にモデル化できるか？
• RQ2 Music BPEによるサブワードレベルのトークン化は、シンボリック音楽生成におけるシーケンスモデリング効率と意味的豊かさを向上させるか？
• RQ3 楽器予測の共同学習目的関数により、明示的な楽器の教師信号なしにオートオーケストレーションを学習できるか？
• RQ4 提案モデルは、人間の作曲と比較して、一貫性、多様性、調和性、構造的複雑性の観点から、どれほど優れた音楽を生成できるか？
• RQ5 独自および公開のデータセットにおいて、MMM や PopMAG といった既存モデルと比較して、SymphonyNetはどのように性能を発揮するか？

主な発見

• 3次元位置埋め込みとMusic BPEの両方を有するモデルが、最小の訓練損失および検証損失を達成し、一般化性能と性能の向上が裏付けられた。
• 人間による評価では、SymphonyNetが生成した音楽は、5段階スケールで多様性（3.72 vs. 3.43）において人間の作曲を上回り、一貫性、調和性、構造、オーケストレーションにおいて同等または上回った。
• Lakh MIDIデータセットにおける直接比較では、SymphonyNetはすべての指標でMMMを上回った：一貫性（3.33 vs. 3.20）、多様性（2.89 vs. 2.71）、全体的好み（2.87 vs. 2.71）。
• Music BPEにより、平均トークン長が2.28から1.13に削減され、超長大な交響曲シーケンスのモデリング負荷が顕著に軽減された。
• モデルはオートオーケストレーションを効果的に学習し、文脈的に適切で、音楽的規範に一致する楽器割り当てを生成した。
• 提案されたMMR表現と3次元位置埋め込みにより、局所的な音楽的構造とトラック間関係が保持され、1次元のフラットネーションによる損傷を回避できた。