[論文レビュー] PopMAG: Pop Music Accompaniment Generation

Yi Ren, Jinzheng He+4 more|arXiv (Cornell University)|Aug 18, 2020

Music and Audio Processing参考文献 34被引用数 6

ひとこと要約

PopMAGは、1つのシーケンス内で複数の音楽トラックを統合的・調性認識的に生成できる画期的なMUlti-track MIDI（MuMIDI）表現を提案する。複数のノート属性を1ステップに統合し、Transformer-XLによる長距離コンテキスト記憶を活用することで、インタラクティブトラック依存関係のモデリングを向上させ、LMD、FreeMidi、中国ポップ音楽データセットにおいて、実測値を42–40%上回る好みの得票率を達成し、最先端の性能を実現した。

ABSTRACT

In pop music, accompaniments are usually played by multiple instruments (tracks) such as drum, bass, string and guitar, and can make a song more expressive and contagious by arranging together with its melody. Previous works usually generate multiple tracks separately and the music notes from different tracks not explicitly depend on each other, which hurts the harmony modeling. To improve harmony, in this paper, we propose a novel MUlti-track MIDI representation (MuMIDI), which enables simultaneous multi-track generation in a single sequence and explicitly models the dependency of the notes from different tracks. While this greatly improves harmony, unfortunately, it enlarges the sequence length and brings the new challenge of long-term music modeling. We further introduce two new techniques to address this challenge: 1) We model multiple note attributes (e.g., pitch, duration, velocity) of a musical note in one step instead of multiple steps, which can shorten the length of a MuMIDI sequence. 2) We introduce extra long-context as memory to capture long-term dependency in music. We call our system for pop music accompaniment generation as PopMAG. We evaluate PopMAG on multiple datasets (LMD, FreeMidi and CPMD, a private dataset of Chinese pop songs) with both subjective and objective metrics. The results demonstrate the effectiveness of PopMAG for multi-track harmony modeling and long-term context modeling. Specifically, PopMAG wins 42\%/38\%/40\% votes when comparing with ground truth musical pieces on LMD, FreeMidi and CPMD datasets respectively and largely outperforms other state-of-the-art music accompaniment generation models and multi-track MIDI representations in terms of subjective and objective metrics.

研究の動機と目的

• 既存のマルチトラック音楽生成手法における明示的なトラック間依存関係モデリングの欠如に対処すること。
• 複数の楽器トラックを同時に生成可能にすることで、ポップ音楽アコーディオン生成における調性の向上を図ること。
• マルチトラック符号化によって生じる長大なシーケンス長を軽減し、長期的音楽モデリングを阻害する要因を軽減すること。
• シーケンスレベルのノート属性符号化と拡張されたコンテキスト記憶を活用し、長期的依存関係モデリングを強化すること。
• 音楽生成の新規作成、準製品音楽、楽曲再構成などに適用可能な汎用的フレームワークの開発を目的とする。

提案手法

• 複数の楽器トラックを1つの順序付きトークン形式に統合する画期的なMUlti-track MIDI（MuMIDI）表現を提案し、トラック間依存関係の明示的モデリングと統合的生成を可能にする。
• 1つのシーケンスステップにピッチ、持続時間、ベロシティといった複数のノート属性を統合することで、属性ごとのトークン化に比べてシーケンス長を短縮する。
• エンコーダーとデコーダーの両方で追加の長距離コンテキスト記憶を有するTransformer-XLをバックボーンとするエンコーダー・デコーダー構造のseq2seqモデルを採用し、長期的音楽的依存関係を捉える。
• リズム的・時間的関係のモデリングを向上させるために、バー単位および位置単位の埋め込みを導入する。
• デコーダーでメロディーとコードトラックを条件入力として提供し、ターゲットアコーディオントラックの自己回帰的生成をガイドする。
• 相対的位置エンコーディングと学習可能埋め込みの組み合わせを採用し、長大なシーケンスにおけるアテンション性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 統一されたシーケンス表現は、マルチトラック音楽生成におけるトラック間依存関係を効果的にモデリングできるか？
• RQ2 独立したトラック生成と比較して、統合的マルチトラック生成は調和性をどのように向上させるか？
• RQ3 1ステップに複数のノート属性を統合することで、シーケンス長をどの程度短縮でき、学習効率がどのように向上するか？
• RQ4 追加の長距離コンテキスト記憶は、マルチトラックシーケンスにおける長期的音楽的依存関係をどの程度効果的に捉えられるか？
• RQ5 提案されたバーおよび位置埋め込み方式は、音楽生成タスクにおいて、標準的な正弦波または相対的位置エンコーディングを上回る性能を示すか？

主な発見

• 主観的評価において、PopMAGはLMDデータセットで42%、FreeMidiで38%、プライベートなCPMD中国ポップ音楽データセットで40%の実測値上回る好みの得票率を記録した。
• すべてのデータセットにおいて、PopMAGは比較対象の最先端モデルを主観的および客観的指標の両方で上回った。
• アブレーションスタディの結果、デコーダー内のメモリを削除した場合（PopMAG - DM）の性能低下が、エンコーダー内のメモリを削除した場合（PopMAG - EM）よりも顕著であったため、デコーダーのメモリが長期的モデリングにおいてより重要であることが示された。
• バーと位置の埋め込みの組み合わせは、すべての指標で正弦波および相対的位置エンコーディングを上回り、主観的評価でも最高の好み得票率を記録した。
• 1ステップに複数のノート属性を統合することで、シーケンス長が顕著に短縮され、学習効率と長距離コンテキストモデリングの両方が向上した。
• MuMIDI、多属性トークン化、長距離コンテキスト記憶を備えた完全なPopMAGモデルが最高の性能を示し、提案されたすべてのコンponentsの相乗効果を確認した。