[論文レビュー] Pop Music Transformer: Beat-based Modeling and Generation of Expressive Pop Piano Compositions

Yu-Siang Huang, Yi‐Hsuan Yang|arXiv (Cornell University)|Feb 1, 2020

Music and Audio Processing参考文献 40被引用数 49

ひとこと要約

REMIを導入。Transformerモデル用のビートベースのイベント表現で、ポップピアノ生成のリズム構造を改善し、従来の MIDI 的アプローチを上回る。

ABSTRACT

A great number of deep learning based models have been recently proposed for automatic music composition. Among these models, the Transformer stands out as a prominent approach for generating expressive classical piano performance with a coherent structure of up to one minute. The model is powerful in that it learns abstractions of data on its own, without much human-imposed domain knowledge or constraints. In contrast with this general approach, this paper shows that Transformers can do even better for music modeling, when we improve the way a musical score is converted into the data fed to a Transformer model. In particular, we seek to impose a metrical structure in the input data, so that Transformers can be more easily aware of the beat-bar-phrase hierarchical structure in music. The new data representation maintains the flexibility of local tempo changes, and provides hurdles to control the rhythmic and harmonic structure of music. With this approach, we build a Pop Music Transformer that composes Pop piano music with better rhythmic structure than existing Transformer models.

研究の動機と目的

• Transformer ベースのポップピアノ生成におけるリズム的一貫性と音楽的一貫性の向上。
• 明示的なメトリカルおよび和声トークンが学習および生成品質に与える影響を調査。
• REMI ベースのモデリングを MIDI 風表現およびベースラインの Transformer モデルと比較。
• 再現性のあるビートベースの音楽生成研究のためのオープンなフレームワークとデータ/コードを提供。

提案手法

• バーと位置トークンを用いたビートベースのイベント表現 REMI を提案して、メトリカル構造を符号化する。
• ローカルなテンポ変化と和声的文脈を捉えるために Tempo および Chord トークンで入力を拡張する。
• REMI イベントの統一シーケンスをモデル化するバックボーンとして Transformer-XL を使用する。
• データ準備のために音声領域の MIR ツール（ビート/ダウンビート推定、テンポ推定）とコード認識を活用する。
• 自動的な転写（Onsets and Frames）を介して音声から派生した 775 個のポップ・ピアノ転写で訓練する。
• 客観的にはリズム構造指標で、主観的にはリスニングテストで Music Transformer ベースラインと対比して評価する。

実験結果

リサーチクエスチョン

• RQ1 バーと位置トークンを用いたビートベースのメトリカルグリッドを埋め込むと、Transformer による生成楽曲のリズムの規則性は向上するか。
• RQ2 Tempo および Chord トークンの追加が表現力と和声制御に与える影響は何か。
• RQ3 REMI は MIDI 風表現およびベースラインの Transformer と比較して、客観的リズム指標および主観的品質でどうなるか。

主な発見

• REMI は MIDI 風ベースラインよりリズムの規則性を向上させ、ビート/ダウンビート関連の指標で証拠を示す。
• テンポイベントは表現的なリズムの自由度には重要で、REMI モデルはダウンビートの顕著性がより高い。
• 主観的評価では、リスニングテストで REMI が Baseline 1 および Baseline 3 より好まれる。
• 明示的なノート継続時間（Note-Off の代わり）により MIDI 風表現よりリズムが安定する。
• バー/位置のメトリカルグリッドはバー水準の依存関係の学習をより明確にし、複数トラック条件付けの可能性を支持。
• 客観的指標は REMI がトレーニングデータにより近いリズムを生成することを示す。