[論文レビュー] The Piano Inpainting Application

Gaëtan Hadjeres, Léopold Crestel|arXiv (Cornell University)|Jul 13, 2021

Music and Audio Processing参考文献 25被引用数 7

ひとこと要約

本論文では、MIDIクリップ内の欠落セグメントを補完することで、表現的なピアノ演奏をリアルタイムでインタラクティブに生成するAIシステムであるPiano Inpainting Application（PIA）を紹介する。構造化MIDI符号化と最適化されたLinear Transformerエンコーダ・デコーダモデルを用いることで、Ableton Live内でのMax for Liveプラグインを通じて、高速で応答性の高い生成を実現し、音楽制作における滑らかな人間とAIの協働を可能にする。

ABSTRACT

Autoregressive models are now capable of generating high-quality minute-long expressive MIDI piano performances. Even though this progress suggests new tools to assist music composition, we observe that generative algorithms are still not widely used by artists due to the limited control they offer, prohibitive inference times or the lack of integration within musicians' workflows. In this work, we present the Piano Inpainting Application (PIA), a generative model focused on inpainting piano performances, as we believe that this elementary operation (restoring missing parts of a piano performance) encourages human-machine interaction and opens up new ways to approach music composition. Our approach relies on an encoder-decoder Linear Transformer architecture trained on a novel representation for MIDI piano performances termed Structured MIDI Encoding. By uncovering an interesting synergy between Linear Transformers and our inpainting task, we are able to efficiently inpaint contiguous regions of a piano performance, which makes our model suitable for interactive and responsive A.I.-assisted composition. Finally, we introduce our freely-available Ableton Live PIA plugin, which allows musicians to smoothly generate or modify any MIDI clip using PIA within a widely-used professional Digital Audio Workstation.

研究の動機と目的

• プロフェッショナルな音楽制作ワークフローにおいて、インタラクティブで応答性の高いAIツールが不足しているという問題に取り組む。
• 既存の生成モデルがDAWでリアルタイムに制御・編集・統合するのを制限する限界を克服する。
• 欠落したセグメントを復元する焦点を当てたインpaintingタスクを通じて、直感的な人間とAIの協働を実現する。
• Ableton Liveのようなプロフェッショナルな音楽制作環境にシームレスに統合できるシステムを開発する。
• 新しいデータ表現とアーキテクチャを用いて、表現的なMIDI生成における推論速度とモデルの制御性を向上させる。

提案手法

• 音高、velocity、持続時間、時刻シフトを分離した構造化された、低語彙のシーケンスとしての新しい構造化MIDI符号化表現を提案し、モデルの汎化性能とインpaintingの効率を向上させる。
• 長距離依存関係をモデル化し、条件付き生成を可能にするために、表現的なピアノ演奏で訓練されたエンコーダ・デコーダ型Linear Transformerアーキテクチャを実装する。
• Linear Transformerの二段階推論機能（自己回帰的および非自己回帰的）を活用し、連続する領域のインpaintingを高速化する。
• リアルタイムで段階的に音符を生成する高速な推論スキームを設計し、最小限のレイテンシで応答性の高い相互作用を実現する。
• Ableton Live用のMax for Liveプラグインを開発し、ミュージシャンがDAW環境内で直接選択したMIDIクリップのインpaintingをトリガーできるようにする。
• 微調整を施した中程度サイズのモデルを用いることで、高品質で表現的な出力を実現するとともに、ほぼリアルタイムの推論速度を維持する。

実験結果

リサーチクエスチョン

• RQ1 表現的なピアノ演奏のための生成モデルは、プロフェッショナルなDAWでリアルタイムに使用可能で、応答性があるほどにインタラクティブに設計可能だろうか？
• RQ2 標準的なイベントベースの符号化とは対照的に、構造化された非イベントベースのMIDI表現は、インpaintingモデルの性能と制御性をどのように向上させるだろうか？
• RQ3 Linear Transformerは、表現的なピアノ演奏における連続的領域の高速かつ高品質なインpaintingをどの程度可能にするだろうか？
• RQ4 Ableton Liveのような広く使われているDAWへのプラグイン統合は、AI補助音楽制作のアクセシビリティと採用を顕著に向上させられるだろうか？
• RQ5 AIツールが単純な継続的生成ではなく、反復的でインタラクティブなインpaintingを支援する場合、どのような新しい作曲ワークフローが生まれるだろうか？

主な発見

• Piano Inpainting Application（PIA）はほぼリアルタイムの推論を達成しており、インpaintされた領域の最初の音符が1秒未塔で生成され、応答性の高い人間とAIの相互作用が可能である。
• 構造化MIDI符号化表現により、音楽的属性をより小さな構造化語彙に分離することで、モデルの汎化性能が向上し、トレーニングおよび推論の効率も向上した。
• Linear Transformerアーキテクチャとその二重推論モードの組み合わせにより、表現力を損なわず、連続領域の高速かつ高品質なインpaintingが可能になった。
• PIAプラグインはAbleton Liveにシームレスに統合されており、ミュージシャンがプロフェッショナルなDAW環境内で任意のMIDIクリップを再生成または変更できる。
• 反復的かつインタラクティブな編集を可能にする仕組みにより、単なる継続的生成や無条件生成を超えた革新的な作曲ワークフローが実現された。
• モデルは、長大または複雑なセグメントをインpaintingする際でさえ、velocityやマイクロティミングの細かな制御を維持しながら、優れた生成品質を示した。