[論文レビュー] Live Orchestral Piano, A System For Real-Time Orchestral Music Generation

Léopold Crestel, Philippe Esling|arXiv (Cornell University)|Sep 5, 2016

Music and Audio Processing参考文献 12被引用数 7

ひとこと要約

本稿では、ライブMIDIピアノ入力から統計的推論を用いてオーケストラ楽器の割り当てを推定する、リアルタイムで動作する自動的投影的オーケストレーションのための初のシステムであるLive Orchestral Piano（LOP）を提示する。新しい評価フレームワークを導入し、フレーム単位の正確さよりもイベント単位の正確さを重視することで、特にFGcRBMを含む条件付き制限ボルツマンマシンが、単純な繰り返しによるバイアスを避けるとともに、音楽的に整合性のあるオーケストレーションを生成する点で他のモデルを上回ることを示している。

ABSTRACT

(Abstract to follow)

研究の動機と目的

• ライブMIDIピアノ入力から自動的投影的オーケストレーションを実行できる、初のリアルタイムシステムの開発。
• ピアノ楽譜とそのオーケストラ版との間の規則性を学習することで、投影的オーケストレーションを統計的推論問題として形式化すること。
• フレーム単位の正確さのような標準的な評価指標が、単に最後の入力を繰り返すモデルを好むバイアスを持つことに対処すること。
• 特に制限ボルツマンマシン（RBM）を含むさまざまな確率的モデルが、ライブピアノ入力から音楽的に妥当なオーケストラ編曲を生成する能力を評価・比較すること。
• 非専門家がMIDIキーボードを単に演奏するだけで、リアルタイムでフルオーケストラ作品を compose できる実用的でインタラクティブなシステムの構築。

提案手法

• 本システムは、制限ボルツマンマシン（RBM）を用いて、ピアノ入力の条件下でのオーケストラノートの活性化確率をモデル化する。特に、可視ユニットと隠れユニットに条件付き依存関係を組み込んだFGcRBMを採用する。
• クライアント/サーバアーキテクチャにより、リアルタイム音声レンダリング（Max/MSP）とオーケストレーション推論（MATLABサーバ）を分離し、低遅延処理と高品質な音声合成を実現する。
• 入力は、アクティブなMIDIノートの可変長ベクトルであり、ピアノキーの状態を表す88次元のバイナリ活性化ベクトルに変換される。
• オーケストラ出力は、学習済みの条件付きモデルからのサンプリングによって生成され、各ピアノ入力に対して、オーケストラ全体の楽器活性化の多次元時系列をマッピングする。
• フレーム単位の正確さのバイアスを回避するため、より信頼性の高い評価指標としてイベント単位の正確さが提案される。
• リアルタイムでのモデル切り替えとハイパーパrameter制御が可能で、さまざまなオーケストラスタイルのインタラクティブな探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 統計的推論モデルは、世界的に著名な作曲家が実演するピアノ楽譜とそのオーケストラ版との間の暗黙の規則性を効果的に学習できるか？
• RQ2 特にRBMベースのアーキテクチャを含む、さまざまな確率的モデルは、ライブピアノ入力から音楽的に整合性があり多様なオーケストラ出力を生成する能力でどのように比較されるか？
• RQ3 フレーム単位の正確さは、オーケストレーションの文脈において、生成的音楽モデルの評価に misleading な指標である程度までであるか？
• RQ4 MIDIキーボードを単に演奏するだけで、非専門家がフルオーケストラ作品をリアルタイムで compose できるシステムを構築できるか？
• RQ5 現在のモデルの主な限界は何か。また、ダイナミクスの統合、低次元の分散表現（例：ワードエムベッディングにインspiredな手法）、または再帰的構造の導入によって、どのように改善できるか？

主な発見

• 提案された評価フレームワークにおいて、FGcRBMモデルがテストされたモデルの中で最も優れたパフォーマンスを示し、多様で整合性のあるオーケストラ編曲を生成する能力に優れていることが確認された。
• フレーム単位の正確さは、単に最後の入力を繰り返すモデルを好むため、生成的音楽システムの評価には信頼性が低いことが判明した。
• イベント単位の正確さは、より意味的で公平な評価指標であることが示された。これは、モデルが文脈的に適切な新しいオーケストライベントを生成する能力をよりよく捉えている。
• 本システムは、MIDIキーボードを用いたリアルタイムでのオーケストラ作曲を成功裏に実現しており、低遅延かつ高い音楽的整合性を有するオーケストラ出力が得られている。
• 補足ウェブサイトに掲載された生成された編曲は、モデルがスタイル的・調性的意図を反映した音楽的に妥当な編曲を生成できることを示している。
• 今後の改善は、ダイナミクスの統合、低次元の分散表現（例：ワードエムベッディングにインspiredな手法）、および再帰的モデリングによる長期的音楽的依存関係の捉え込みによって期待される。