[論文レビュー] Notochord: a Flexible Probabilistic Model for Embodied MIDI Performance

Victor Shepardson, Jack Armitage+1 more|arXiv (Cornell University)|Sep 17, 2022

Music Technology and Sound Studies被引用数 5

ひとこと要約

Notochord は、リアルタイムMIDIパフォーマンスを可能にする低遅延で確率的な深層学習モデルであり、音楽生成における細かい粒度で解釈可能な干渉を可能にする。Lakh MIDIデータセットで学習された本モデルは、ミリ秒未塔の応答時間を実現し、和音化、ライブコーディング、尤度ベースのインターフェースといった応用を可能にする。オープンソースのソフトウェアとモデルチェックポイントを提供する。

ABSTRACT

Deep learning-based probabilistic models of musical data are producing increasingly realistic results and promise to enter creative workflows of many kinds. Yet they have been little-studied in a performance setting, where the results of user actions typically ought to feel instantaneous. To enable such study, we designed Notochord, a deep probabilistic model for sequences of structured events, and trained an instance of it on the Lakh MIDI dataset. Our probabilistic formulation allows interpretable interventions at a sub-event level, which enables one model to act as a backbone for diverse interactive musical functions including steerable generation, harmonization, machine improvisation, and likelihood-based interfaces. Notochord can generate polyphonic and multi-track MIDI, and respond to inputs with latency below ten milliseconds. Training code, model checkpoints and interactive examples are provided as open source software.

研究の動機と目的

• 身体的音楽的パフォーマンスにおけるリアルタイムで低遅延な相互作用を可能にするMIDIシーケンス用の深層確率的モデルの設計。
• 生成中にピッチ、タイミング、ベロシティなどの属性を制約するなど、イベントレベル以下の細かい粒度で解釈可能な干渉を可能にする。
• 一つの統合されたモデルアーキテクチャ内で、和音化、即興演奏、ライブコーディングといった多様なインタラクティブ音楽的機能を実現する。
• バッチモードの遅いAI音楽生成と、パフォーマンスに必要な即時応答性のギャップを埋め、知覚的に応答性の高い環境を実現する。
• 拡張性とコミュニティ研究を支援するため、オープンソースの学習コード、モデルチェックポイント、インタラクティブな例を提供する。

提案手法

• Notochord は、連続時間とベロシティのモデリングを備えたRNNベースのアーキテクチャを採用し、ノートオン、ノートオフ、コントローラーイベントを文脈的に条件づけられた別個のイベントとして扱う。
• 連続変数には離散化混合ロジスティック分布を用いた確率的自己回帰フレームワークを採用し、任意の順序のノート要因分解を導入することで、モデリング効率を向上させる。
• 本モデルは、Lakh MIDIデータセットの10万曲分を学習データとして用い、豊かなアーバンな音楽的パターンとスタイルの一貫性を捉える。
• 条件付きクエリを介して構造的な干渉を可能にし、例えばピッチクラスやタイミングの制約を固定しつつ、他の属性は文脈的に予測可能にする。
• OSCを介してSuperCollider や TidalCycles といったリアルタイム環境と統合され、ライブコーディングや低遅延パフォーマンスとの相互作用が可能になる。
• モデルの尤度スコアを公開することで、ピッチ選択やパrameter変調の尤度ベースインターフェースの実現を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、10ミリ秒未塔の応答時間を達成するような深層確率的モデルを設計し、身体的音楽的パフォーマンスにおけるリアルタイムで低遅延な相互作用を可能にするか？
• RQ2 生成品質を損なわず、ピッチやタイミングの制約といった解釈可能な細かい粒度の干渉を確率的シーケンスモデルに組み込むことはどの程度可能か？
• RQ3 一つの統合されたモデルが、和音化、即興演奏、ライブコーディングといった多様なインタラクティブ音楽的タスクの柔軟なバックボーンとして機能できるか？
• RQ4 モデルの確率的定式化が、尤度や驚きに基づく新しいインターフェースデザインをどのように可能にするか？
• RQ5 身体的音楽的文脈におけるリアルタイムMIDI生成に深層学習モデルを用いる際の実用的性能上の妥当性とは何か？

主な発見

• Notochord は10ミリ秒未塔の応答遅延を達成し、身体的パフォーマンスに適した知覚的に即時の相互作用を可能にする。
• 文脈に応じた条件付きサンプリングを可能にし、ポリフォニックでマルチトラックのMIDI生成を実現する。
• 条件付きクエリにより、ユーザーは特定の属性（例：ピッチクラス C、ベロシティ 99）を制約しつつ、残りの属性を文脈的に生成可能である。
• 本モデルは、リアルタイムの和音化、機械による即興演奏、TidalCyclesを用いたライブコーディング、尤度ベースのピッチ選択インターフェースといった多様な応用を可能にする。
• OSCを介したSuperColliderとの統合により、ライブコーディングワークフローに成功裏に統合され、リアルタイムパフォーマンス環境との互換性が実証された。
• 学習コード、モデルチェックポイント、インタラクティブな例はすべて公開されており、さらなる研究や実験を支援する。