[論文レビュー] Compound Word Transformer: Learning to Compose Full-Song Music over Dynamic Directed Hypergraphs

Wen-Yi Hsiao, Jen-Yu Liu+2 more|arXiv (Cornell University)|Jan 7, 2021

Music and Audio Processing参考文献 31被引用数 19

ひとこと要約

本稿では、音高、発音時刻、ディレイなど関連する音楽トークンを複合語にグループ化することで、フルソングのポップ・ピアノ音楽をより効率的にモデル化する、新しいトランスフォーマーモデル「Compound Word Transformer」を提案する。タイプ固有のフィードフォワードヘッドと動的ハイパーグラフモデリングを用いることで、最先端のモデルと比較して5–10倍高速に学習が可能となり、同時に同等の知覚的質の音楽を生成する。

ABSTRACT

To apply neural sequence models such as the Transformers to music generation tasks, one has to represent a piece of music by a sequence of tokens drawn from a finite set of pre-defined vocabulary. Such a vocabulary usually involves tokens of various types. For example, to describe a musical note, one needs separate tokens to indicate the note's pitch, duration, velocity (dynamics), and placement (onset time) along the time grid. While different types of tokens may possess different properties, existing models usually treat them equally, in the same way as modeling words in natural languages. In this paper, we present a conceptually different approach that explicitly takes into account the type of the tokens, such as note types and metric types. And, we propose a new Transformer decoder architecture that uses different feed-forward heads to model tokens of different types. With an expansion-compression trick, we convert a piece of music to a sequence of compound words by grouping neighboring tokens, greatly reducing the length of the token sequences. We show that the resulting model can be viewed as a learner over dynamic directed hypergraphs. And, we employ it to learn to compose expressive Pop piano music of full-song length (involving up to 10K individual tokens per song), both conditionally and unconditionally. Our experiment shows that, compared to state-of-the-art models, the proposed model converges 5--10 times faster at training (i.e., within a day on a single GPU with 11 GB memory), and with comparable quality in the generated music.

研究の動機と目的

• 自然言語処理におけるすべての音楽トークンを同等に扱うという制限に対処すること。
• トークンタイプの非均一性を明示的に考慮することで、記号的音楽生成における学習効率とモデリング忠実度を向上させること。
• 圧縮された複合語表現を用いて、長さ10,000トークンまでの、表現的で包括的なポップ・ピアノ音楽の効果的生成を可能にすること。
• 各タイムステップで複数のトークンタイプを同時にモデリングすることで、音楽生成における速度と品質の両立が可能かどうかを検討すること。

提案手法

• 音高、ディレイ、発音時刻などの異なるタイプの隣接トークンを複合語にグループ化することで、シーケンス長を短縮し、同時に発生する依存関係を捉える。
• 各タイムステップで複数のトークンタイプを同時に予測できる、タイプ固有のフィードフォワードヘッドを備えた変更版トランスフォーマーデコーダーを用いる。
• 学習および推論中に複合語を個々のトークンに戻すために、拡張・圧縮トリックを適用する。
• 音楽生成プロセスを動的有向ハイパーグラフとして表現し、各ハイパーエッジが複数のトークンノードを接続する複合語に対応する。
• フルソングの構成における長距離依存関係をモデル化するため、大きなコンテキスト窓（5,120）を備えた線形トランスフォーマー構造を採用する。
• 条件付き（リードシート条件付き）および非条件付き生成設定の両方で、大規模なポップ・ピアノデータセットを用いてモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 各タイムステップで複数の音楽トークンタイプ（例：音高、ディレイ、ダイナミクス）を同時にモデリングすることで、学習効率と生成品質が向上するか？
• RQ2 複合語（グループ化されたトークン列）の使用により、音楽生成における長距離モデリングの向上とシーケンス長の短縮が達成されるか？
• RQ3 訓練速度、推論品質、知覚的音楽品質という観点から、提案モデルは最先端モデルと比較してどのように差をつけるか？
• RQ4 モデルは、実際の作品と同等の構造的・調性的複雑性を持つ、フルソングで表現的なポップ・ピアノ音楽を生成できるか？
• RQ5 動的ハイパーグラフ解釈は、モデルのインダクティブバイアスおよび一般化能力を理解する上で妥当で有用であるか？

主な発見

• 提案モデルは、REMI + Transformer-XLなどの最先端モデルと比較して、5–10倍高速に学習が可能であり、1つのGPU（11 GBメモリ）で1日以内に収束する。
• ユーザー調査により確認されたように、モデルは最大10,000トークンのフルソング・ポップ・ピアノ音楽を生成可能であり、REMI + XLと同等の知覚的質を達成する。
• 非条件付き生成において、CP + ライナー・モデルは、知覚的豊かさ、人間的質、構造的整合性の観点でREMI + XLを上回り、より強い構成的一般化能力を示している。
• 定量的評価では、両モデルともトレーニングセットに近いメロディおよびコードマッチネス値を達成しており、ランダムベースラインを著しく上回っている。
• モデルの複合語表現により、1つのタイムステップ内で同時に発生する音楽的特徴（例：音高とディレイ）のモデリングが効果的に可能となり、効率性が向上した。
• ユーザー調査（n=18）の結果、条件付き設定ではREMI + XLがわずかに優れているが、非条件付き生成においては、すべての知覚的指標でCP + ライナー・モデルに一貫した優位性が見られた。