[論文レビュー] Performing Structured Improvisations with pre-trained Deep Learning Models

Pablo Samuel Castro|arXiv (Cornell University)|Apr 30, 2019

Music Technology and Sound Studies被引用数 4

ひとこと要約

本論文は、MelodyRNNおよびDrumsRNNという事前学習済みディープラーニングモデルを統合したリアルタイムでスタイルを保持するシステムを提案する。人間の入力をプリマーとして用いることで、機械学習の専門知識が不要でありながら、即座で応答性があり、スタイル的に一貫性のある音楽生成を実現し、ライブジャズの場面においてもパフォーマーの個性あるスタイルを忠実に維持する。

ABSTRACT

The quality of outputs produced by deep generative models for music have seen a dramatic improvement in the last few years. However, most deep learning models perform in "offline" mode, with few restrictions on the processing time. Integrating these types of models into a live structured performance poses a challenge because of the necessity to respect the beat and harmony. Further, these deep models tend to be agnostic to the style of a performer, which often renders them impractical for live performance. In this paper we propose a system which enables the integration of out-of-the-box generative models by leveraging the musician's creativity and expertise.

研究の動機と目的

• 高品質で推論時間が長い生成AIモデルをリアルタイムで構造的な音楽パフォーマンスに統合する課題に対処すること。
• 事前学習済みモデルを用いてもパフォーマーのスタイル的アイデンティティを保持したままライブ即興を可能にすること。
• 音楽パフォーマンスにおける高度な生成モデルの使用にあたって、機械学習の専門知識が不要であることを実現すること。
• リアルタイムでの人間入力処理を通じて、AI補助即興における遅延を低減し、タイミング制御を向上させること。
• AI生成即興が熟練したミュージシャンが予測可能なパターンを超えて創造的探求を促す方法を検討すること。

提案手法

• システムは、事前学習済みのMelodyRNNおよびDrumsRNNモデルのプリマリのシーケンスとして、パフォーマーのリアルタイムMIDI入力を用いる。
• パフォーマーのノートを感知できない遅延なくリアルタイムに処理し、新たなメロディックおよびリズミカルな内容を生成する。
• モデルは、人間の入力シーケンスを条件として、ピッチおよびディレイレーションのトークンの統計的分布に基づいて新しいノートを生成する。
• 16分音符の定量化を避けるために連続時間入力を用いることで、より自然なリズム的表現を可能にする。
• パフォーマーがAIが自身の入力を置き換えるタイミングを制御できるように、MIDIフットペダルを導入する。
• MIDI出力を通じて、あらゆるサウンドモジュールやシンセサイザーと統合可能であり、表現的で自然なサウンドを実現する。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みディープラーニング生成モデルを、顕著な遅延が生じないリアルタイムのライブ音楽即興に使用できるか？
• RQ2 AI生成コンテンツ統合時において、人間パフォーマーのスタイル的アイデンティティをどのように保持できるか？
• RQ3 機械学習の専門知識が不要であるにもかかわらず、高品質で応答性のあるAI補助即興を可能にするシステムを設計できるか？
• RQ4 AI生成コンテンツの導入が、熟練ミュージシャンの創造的プロセスおよび音楽的探求にどのように影響を与えるか？
• RQ5 AI補助即興におけるタイミングおよび音楽的整合性を向上させるために、どのような制御メカニズムが有効か？

主な発見

• パフォーマーの入力とAI生成出力の間に顕著な遅延がなく、リアルタイムパフォーマンスを達成した。
• パフォーマーのスタイルに馴染みのある聴衆は、AIの関与を認識できず、スタイルの一貫性の高さを示している。
• パフォーマーは、AI生成ノートの不確実性のおかげで、習慣的なラインに依存しなくなった新しい創造的領域に押し出されたと報告した。
• システムは、ハーモニーが安定したモード・ジャズにおいて最も効果的であったが、ハーモニックなシフトがタイミングおよびボイス・リーディングの問題を引き起こした。
• MIDIフットペダルの導入により、AIがパフォーマーのノートを置き換えるタイミングの制御が向上し、不自然なトランジションが減少した。
• システムは、新規で整合性のある即興を生成しつつも、パフォーマーの音楽的アイデンティティを的確に維持した。