[論文レビュー] Learning to Generate Music with BachProp

Florian Colombo, Johanni Brea+1 more|arXiv (Cornell University)|Dec 17, 2018

Music and Audio Processing参考文献 21被引用数 6

ひとこと要約

BachProp は、前の音符からのピッチ、持続時間、時刻シフトをモデル化することで、多様なスタイルの音楽を生成するニューラル音楽生成モデルである。長期間にわたる音楽的依存関係を捉える能力と、スタイル的に一貫性があり、新規な構成を生成する能力において、Bach chorales や民謡、クラシカル・カルテットといった多様なデータセット上で、定量的指標と定性的聴取比較によって裏付けられ、既存のモデルを上回っている。

ABSTRACT

(Abstract to follow)

研究の動機と目的

• 固定された構造的制約（例えば声の数やリズムグリッド）を仮定せずに、多様な音楽的スタイルに適応できる汎用的音楽生成モデルの開発。
• 既存のモデルが 16 分音符グリッドなどのきめ細かいリズム離散化に依存しており、表現的なタイミングや複雑なリズムを表現できないという限界を克服すること。
• ディープニューラルネットワークの学習に適した、歪みのない最小限の音楽表現を提案すること。
• 訓練データの分布への類似度、構造的類似度、新規性を評価する新しい定量的指標のセットを用いて、生成モデルを評価すること。
• 人間の作曲家との協働を可能にし、インタラクティブでアクセスしやすい音楽創作を実現すること。

提案手法

• リズム的歪みを標準的な MIDI やグリッドベースの表現と比較して最小限に抑えるために、時刻シフト、持続時間、ピッチで定義されたノートのシーケンスとして音楽を表現する。
• 履歴をもとに次のノートの条件付き確率分布を予測するため、深層再帰ニューラルネットワークを訓練し、交差エントロピー損失を用いる。
• バックプロパゲーションを変更したメカニズムにより、シーケンスモデリングにおける勾配の流れと安定性を向上させる、新しいトレーニングアルゴリズム「BachProp」を用いる。
• Bach chorales、民謡（Nottingham）、John Sankey の MIDI レコーディング、Haydn や Mozart のストリング・カルテットを含む多様なデータセットにモデルを適用する。
• 区間分布、楽曲長分布、自己新規性プロファイルといった定量的指標を用いて、モデル出力と実際の音楽コーパスとの比較を行う。
• 併用メディアウェブページ上で大規模な聴取比較を実施し、知覚的品質とスタイルの一貫性を評価する定性的な評価を実施する。

実験結果

リサーチクエスチョン

• RQ1 固定された構造的制約（声の数やリズムグリッドなど）を仮定せずに、多様な音楽的スタイルにわたって、音楽的に整合的で新規な構成を生成できるか？
• RQ2 既存のモデルと比較して、BachProp は訓練データの主要な統計的特徴（区間分布、楽曲長分布など）をどの程度正確に保持しているか？
• RQ3 自己新規性プロファイルと実際のコーパスとの分布類似度によって測定した場合、BachProp はどれほど新規性と構造的多様性を備えた音楽を生成しているか？
• RQ4 Bach chorales や均質性の低いストリング・カルテットなど、複雑さと均質性の異なるデータセットにおいて、モデルの性能はどのように変化するか？
• RQ5 提案された評価指標は、単にパターンを再結合するモデルと、真の長期間依存関係を推論するモデルを効果的に区別できるか？

主な発見

• Bach chorales データセットにおいて、BachProp は 0.419 の最小負の対数尤度（NLL）を達成し、シーケンスにおける次のノートの予測精度が非常に高いことを示している。
• より複雑な John Sankey データセットおよびストリング・カルテットデータセットでは、それぞれ NLL が 1.002 および 0.936 に達し、均質でないコーパスに対しても強固な一般化能力を示している。
• BachProp の自己新規性プロファイルは、すべてのパターンサイズにおいてオリジナルコーパスと非常に近い値を示しており、生成音楽の多様性が高く、再帰的重複が少ないことを示している。
• 区間分布の捉え方において、他のモデルを上回っており、唯一 DeepBach が顕著なずれ（マイナーチーズの過剰）を示したが、BachProp、PolyDAC、MidiBP、PolyRNN は訓練データとよく一致していた。
• 楽曲長分布において、BachProp は MidiBP を除くすべてのモデルよりもオリジナルコーパスに近い値を示しており、長期間依存関係をよりよくモデル化していることを示している。
• 併用メディアウェブページ上で実施した定性的な聴取比較により、BachProp が生成した楽曲は、すべてのテストデータセットにおいて一貫性があり、独自性があり、音楽的に快適に感じられると評価された。