[論文レビュー] Maximum entropy models for generation of expressive music

Simon Moulieras, François Pachet|arXiv (Cornell University)|Oct 12, 2016

Music Technology and Sound Studies参考文献 10被引用数 3

ひとこと要約

この論文では、ジャズ、ポップ、ラテンジャズのプロのピアニストによる演奏から、ミクロティミングのずれ、ディレイレーションのずれ、音量の変化、メトロニック位置を学習することで、表現的な音楽を生成するための最大エントロピー（MaxEnt）モデルを提案する。モデルは隣接する音の間の局所的相関を捉え、聴衆の聴取テストにおいて人間の演奏と統計的に区別がつかない表現的な演奏を生成する。参加者たちは、MaxEntによって生成されたメロディーを、非表現的またはランダムに表現されたバージョンよりも顕著に好む。

ABSTRACT

In the context of contemporary monophonic music, expression can be seen as the difference between a musical performance and its symbolic representation, i.e. a musical score. In this paper, we show how Maximum Entropy (MaxEnt) models can be used to generate musical expression in order to mimic a human performance. As a training corpus, we had a professional pianist play about 150 melodies of jazz, pop, and latin jazz. The results show a good predictive power, validating the choice of our model. Additionally, we set up a listening test whose results reveal that on average, people significantly prefer the melodies generated by the MaxEnt model than the ones without any expression, or with fully random expression. Furthermore, in some cases, MaxEnt melodies are almost as popular as the human performed ones.

研究の動機と目的

• シンボリックスコアからのずれとしての音楽的表現を、整合的な確率的枠組みを用いてモデル化すること。
• タイミング、ディレイレーション、音量、メトロニック位置といったノートレベルの表現的パラメータ間の局所的で並進不変の相関を捉えること。
• グローバルな構造的パターンに依存せずに、人間の演奏を模倣する生成モデルを開発すること。
• 制御された聴取テストを通じて、生成された音楽の知覚的質を評価すること。
• MaxEntモデルが、人間の演奏に近い表現的音楽を生成できることを示すこと。

提案手法

• 実際の演奏データからの観測制約の下でエントロピーを最大化するように確率分布を構築するため、最大エントロピーの原理を適用する。
• 離散変数（例：メトロニック位置）と連続変数（例：オフセットずれ、ディレイレーションずれ、音量）を、指数型分布族を用いた別個のMaxEnt分布でモデル化する。
• 各ノートの表現的パラメータがその直近の隣接ノートにのみ依存するような、局所的で並進不変の特徴を用いることで、局所的テクスチャ仮説を強制する。
• オフセットずれ、ディレイレーションずれ、音量、メトロニック位置といった十分統計量（観測可能量）を定義し、関連する表現的特徴を捉える。
• ジャズ、ポップ、ラテンジャズのジャンルにまたがる150曲のプロ演奏のコーパスを用いて、最尤推定によりモデルパラメータを推定する。
• 学習されたMaxEnt分布からのサンプリングにより、隣接ノート間の統計的依存関係を保持した新しい演奏を生成する。

実験結果

リサーチクエスチョン

• RQ1 最大エントロピー（MaxEnt）モデルは、現実世界のデータから表現的音楽演奏を効果的に捉え、生成できるか？
• RQ2 隣接するノート間の局所的相関は、現代音楽における表現的タイミングとダイナミクスをどの程度説明できるか？
• RQ3 MaxEntによって生成された演奏は、人間の演奏とどの程度知覚的に類似しているのか、特に非表現的または完全にランダムに表現されたバージョンと比較してどうか？
• RQ4 このモデルは、ジャズ、ポップ、ラテンジャズなど多様な音楽的スタイルに一般化できるか？
• RQ5 聴衆は、MaxEntによって生成された音楽と人間の演奏のどちらを相対的に好むか？

主な発見

• MaxEntモデルは訓練データに対して強く予測力を持ち、顕著な表現的パターンを捉える能力が裏付けられた。
• 聴取テストにおいて、参加者たちは非表現的バージョンや完全にランダムな表現的バージョンよりも、MaxEntによって生成されたメロディーを顕著に好んだ。
• 一部のケースでは、MaxEntによって生成されたメロディーが、元の人の演奏とほとんど同等に好まれ、高い知覚的妥当性を示した。
• 長距離の構造的仮定を必要とせず、局所的な表現的相関を効果的に捉えることができたため、表現は主に局所的テクスチャであるという仮説を支持した。
• MaxEntフレームワーク内で連続変数（オフセット、ディレイレーション、音量）を用いることで、現実の演奏におけるミクロティミングのずれを正確にモデル化できた。
• 並進不変仮定（表現的特徴が局所的文脈にのみ依存する）が、説得力のある音楽的表現を生成する上で効果的かつ十分であった。