[論文レビュー] NONOTO: A Model-agnostic Web Interface for Interactive Music Composition by Inpainting

Théis Bazin, Gaëtan Hadjeres|arXiv (Cornell University)|Jul 23, 2019

Music and Audio Processing参考文献 9被引用数 9

ひとこと要約

NONOTO は、入力補完に基づく生成モデルを用いたインタラクティブな音楽作曲を可能にする、モデルに依存しないウェブベースのインターフェースであり、リアルタイムでのスコア編集、オーディオ再生、MIDI出力、Ableton Link を用いたDAW同期を実現する。研究者は自らのモデルを統合でき、ミュージシャンはリアルタイムで共同して音楽を創作できる。これにより、AI補助音楽制作における創造性とアクセシビリティが向上する。

ABSTRACT

Inpainting-based generative modeling allows for stimulating human-machine interactions by letting users perform stylistically coherent local editions to an object using a statistical model. We present NONOTO, a new interface for interactive music generation based on inpainting models. It is aimed both at researchers, by offering a simple and flexible API allowing them to connect their own models with the interface, and at musicians by providing industry-standard features such as audio playback, real-time MIDI output and straightforward synchronization with DAWs using Ableton Link.

研究の動機と目的

• AI音楽生成と現実世界の音楽制作の間のギャップを埋めるために、インタラクティブで人間が関与する作曲を可能にすること。
• 研究者が実際の音楽制作環境で自分の音楽生成モデルをテスト・デプロイできる、柔軟でオープンソースのフレームワークを提供すること。
• ミュージシャンや非専門家が、記号的スコアの直感的でリアルタイムな編集を通じてAIと共同で音楽を創作できるようにすること。
• Ableton Live などのプロフェッショナルツールとMIDIおよびAbleton Linkを介して統合することで、ライブパフォーマンスや共同音楽制作を支援すること。
• アクセスしやすく改造可能なインターフェースを通じて、「ロボット音楽」からAI補助で共同する音楽制作へのシフトを促すこと。

提案手法

• インターフェースは OpenSheetMusicDisplay を使用して MusicXML スコアをベクトルグラフィックスでレンダリングし、記号的音楽の高精細な視覚的表現を実現する。
• Tone.js によりリアルタイムでのオーディオ再生が可能となり、編集中でも音楽を途切れなく即座に聴ける。
• ウェブベースのクライアントがHTTPを介してリモートの音楽インpaintingサーバーと通信し、/generate と /timerange-change の2つのコマンドを核心として使用する。
• フロントエンドとバックエンドを分離することで、モデルに依存しない統合を実現し、研究者が標準化されたAPIを介して任意のインpaintingモデルを統合できる。
• DAW統合は、Tone.jsによるリアルタイムオーディオレンダリングまたは WebMidi.js を用いたMIDI出力を通じて達成され、仮想ポートへのルーティングとAbleton Live とのAbleton Linkを介した同期が可能になる。
• コード進行やフェルマータ位置といったメタデータがスコアと共に渡され、特定のトレーニングコーパスに適合した文脈に配慮した生成が可能になる。

実験結果

リサーチクエスチョン

• RQ1 ウェブベースのインターフェースは、AIインpaintingモデルを用いてどのようにリアルタイムでインタラクティブな音楽作曲を可能にするか？
• RQ2 モデルに依存しないフレームワークは、多様な音楽生成モデルをサポートしつつ、統合の負荷をどれほど低く保てるか？
• RQ3 リアルタイムでのオーディオ再生とMIDI出力は、ミュージシャンや研究者のクリエイティブワークフローをどのように向上させるか？
• RQ4 DAWとの統合とAbleton Link などの同期プロトコルは、ライブパフォーマンスや共同音楽制作をどのように支援するか？
• RQ5 インpaintingベースの生成は、全シーケンス生成と比較して、どのようにより協働的で人間とAIの共同作曲体験を促進するか？

主な発見

• NONOTO は、スコアの再生成中でもリアルタイムで途切れのないオーディオ再生を実現し、応答性が高く没入感のあるユーザー体験を提供する。
• MIDI および Ableton Link を介したプロフェッショナルDAWとの統合に成功し、シームレスな同期とライブパフォーマンス環境での使用が可能になる。
• モデルに依存しないアーキテクチャにより、研究者が最小限のオーバーヘッドで自らのインpaintingモデルを統合でき、迅速なデプロイと評価が可能になる。
• コード進行やフェルマータ配置といったメタデータのサポートにより、特定の音楽コーパスに適合した文脈に配慮した、スタイル的に整合性のある再生成が可能になる。
• 本システムは、継続的生成や全生成モデルと比較して、インpaintingベースのモデルがよりインタラクティブで協働的な作曲ワークフローを支援することを示している。
• フレームワークのオープンソースかつ改造可能な性質は、コミュニティの貢献や新しいインタラクションパラダイム、音楽生成タスクへの適応を奨励する。