[論文レビュー] Style Imitation and Chord Invention in Polyphonic Music with Exponential Families

Gaëtan Hadjeres, Jason Sakellariou+1 more|arXiv (Cornell University)|Sep 16, 2016

Music and Audio Processing参考文献 24被引用数 15

ひとこと要約

本論文では、音楽的知識を前提とせず、複数声の間のノート相関を学習する指数型分布族に基づく最大エントロピーモデルを提案する。このモデルはスタイルの模倣や新しいコードの創出を可能にし、バッハの賛美歌において調性的に整合性があり、かつ訓練データに存在しない新しいコードを生成することで、優れた一般化性能を示す。ユーザーが定義する単項制約を用いることで高い柔軟性を実現しており、小規模なコーパスでも高速かつスケーラブルな生成が可能である。

ABSTRACT

Modeling polyphonic music is a particularly challenging task because of the intricate interplay between melody and harmony. A good model should satisfy three requirements: statistical accuracy (capturing faithfully the statistics of correlations at various ranges, horizontally and vertically), flexibility (coping with arbitrary user constraints), and generalization capacity (inventing new material, while staying in the style of the training corpus). Models proposed so far fail on at least one of these requirements. We propose a statistical model of polyphonic music, based on the maximum entropy principle. This model is able to learn and reproduce pairwise statistics between neighboring note events in a given corpus. The model is also able to invent new chords and to harmonize unknown melodies. We evaluate the invention capacity of the model by assessing the amount of cited, re-discovered, and invented chords on a corpus of Bach chorales. We discuss how the model enables the user to specify and enforce user-defined constraints, which makes it useful for style-based, interactive music generation.

研究の動機と目的

• 専門的な音楽的知識に依存せずに、水平的および垂直的ノート相関を捉える統計的モデルを構築すること。
• 学習データに存在しない、新しいスタイルに整合したコードの生成を可能にし、単なる再現を超えた一般化を実現すること。
• 個々の声に対して任意のユーザー定義単項制約を許容することで、柔軟でインタラクティブな音楽生成を可能にすること。
• 大規模データセットを必要としない深層学習モデルの限界を克服し、小規模コーパスでも高速かつスケーラブルな生成を実現すること。
• 位置に依存するパラメータを導入することでリズムパターンを統合しつつ、二項相互作用の並進不変性を維持すること。

提案手法

• 最大エントロピー原理に基づき、指数型分布族としてモデルを定式化し、複数声間の隣接するノートイベントの対ごとの同時発生に基づく特徴を用いる。
• 各声が単項ポテンシャルを提供する「エキスパートの積」フレームワークを採用し、声間の依存関係は二項相互作用でモデル化する。
• 小規模コーパスでも過学習を防ぐためにL1正則化付きの最尤推定を用いて学習を行う。
• メートル的時間ボックス（例：16分音符単位）に位置に依存する単項パラメータを導入することでリズムパターンを統合し、二項パラメータは並進不変性を保つ。
• 音高アルファベットに、レストと持続音を表す2つの追加記号を追加し、持続時間のモデリングとリズム的一致性を実現する。
• 生成はギブスサンプリングまたはグリーディサーチにより実行され、ユーザーの制約は特定のノートや声に単項ポテンシャルとして強制される。

実験結果

リサーチクエスチョン

• RQ1 純粋に統計的かつ中立的なモデルは、音楽理論の前提知識なしに、多声楽器音楽における複雑な和声的・メロディアスな構造を学習し再現できるか？
• RQ2 このようなモデルは、学習データに存在しない、新規で調和的に妥当なコードをどの程度創出できるか？
• RQ3 生成中に個々の声に対して任意のユーザー定義制約をどの程度効果的に強制できるか？
• RQ4 モデルは学習データを超えて、音楽的に整合的かつスタイルに整合したシーケンスを生成できるか？
• RQ5 リズム的構造の統合が、現実的な多声楽器音楽の生成能力にどのような影響を与えるか？

主な発見

• 本モデルは、訓練コーパスに存在しない新しいコードを効果的に生成し、バッハの賛美歌において顕著なコード創出能力を示した。
• バッハの賛美歌コーパスにおいて、本モデルは引用されたコードの92％を再発見し、残りの8％を新規に生成した。これは、優れた一般化性能とスタイル的一致性を示している。
• 二項相互作用を通じて長距離の水平的および垂直的相関を捉えることで、高い統計的正確性を維持している。
• ユーザー定義の単項制約は、生成中に効率的に強制可能であり、インタラクティブで制約に基づく音楽創作を可能にしている。
• 位置に依存する単項パラメータの導入により、ベースモデルが並進不変性を保っているにもかかわらず、元のコーパスと整合するリズムパターンの出現が可能になった。
• 本モデルは小規模コーパスでも高速な生成と頑健な性能を達成しており、柔軟性と解釈可能性において、深層学習ベースラインを上回っている。