[論文レビュー] The ACCompanion v0.1: An Expressive Accompaniment System

Carlos Cancino-Chacón, Martin Bonev+6 more|arXiv (Cornell University)|Nov 7, 2017

Music Technology and Sound Studies参考文献 5被引用数 5

ひとこと要約

ACCompanion v0.1 は、リアルタイムでソロリストの演奏を追跡するための隠れマルコフモデル（HMM）ベースのモノフォニックスコアフォロワーと、表現的ダイナミクス、タイミング、アーティキュレーションを生成する Basis-Mixer ニューラルネットワークフレームワークを活用する、表現的アコーパニメントのプロトタイプシステムです。本システムは、確率的スコアフォローとディープラーニングベースの表現的パフォーマンスモデリングを新規に統合し、動的表現性を備えたリアルタイムで音楽的に整合性のあるアコーパニメントを実現しています。

ABSTRACT

In this paper we present a preliminary version of the ACCompanion, an expressive accompaniment system for MIDI input. The system uses a probabilistic monophonic score follower to track the position of the soloist in the score, and a linear Gaussian model to compute tempo updates. The expressiveness of the system is powered by the Basis-Mixer, a state-of-the-art computational model of expressive music performance. The system allows for expressive dynamics, timing and articulation.

研究の動機と目的

• ソロ MIDI パフォーマンスに対して、音楽的に整合性があり、動的表現性を備えたリアルタイム表現的アコーパニメントを生成するシステムを開発すること。
• 確率的モノフォニックスコアフォロワーと、表現的パフォーマンスをモデル化するニューラルネットワークベースのモデル（Basis-Mixer）を統合し、同期的で表現的なアコーパニメントを実現すること。
• GUI や外部コントローラーによるリアルタイムでの表現的パrameter制御を可能とし、パフォーマンスの強調や抑制を可能とすること。
• 今後の多声スコアフォローやアンサンブルパフォーマンスデータを統合するシステムの基盤を築くこと。
• 厳密な同期を超えた、自動システムが「独自のアイデア」を持つ表現的パフォーマンスを実現する可能性を検討すること。

提案手法

• 本システムは、MIDI ピッチおよびオネスト間隔（IOI）データを用いて、ソロリストのスコア内での位置を追跡するため、スイッチングカルマンフィルタを内蔵した隠れマルコフモデル（HMM）を採用している。
• スコアフォローモデルは、HMM の隠れ状態に依存する線形ガウス過程としてビート周期をモデル化しており、安定したテンポ追跡が可能である。
• Basis-Mixer（BM）フレームワークは、各音符ごとに5つの表現的ターゲットを予測する：Loudness_trend、BP（ビート周期比）、Loudness_dev、Timing、Articulation。
• オンセット単位のターゲットは双方向リカレントニューラルネットワーク（BRNNs）を用いて予測され、ノート単位のターゲットは順方向ニューラルネットワークによって予測される。
• BM はベートーベン・ピアノソナタのパフォーマンスデータセットを用いて学習され、スコアの構造的側面を記述する基底関数を用いて表現的特徴を符号化している。
• 本システムはリアルタイムの GUI を備えており、ピアノロール形式でソロパートとアコーパニメントパートを可視化しており、色分けされたノートにより演奏の正誤とダイナミクスの強さを示している。

実験結果

リサーチクエスチョン

• RQ1 確率的スコアフォローとニューラルパフォーマンスモデリングを用いたリアルタイムアコーパニメントシステムは、ソロリストと表現的に同期を取ることができるか？
• RQ2 ニューラルネットワークベースのフレームワーク（Basis-Mixer）は、自動アコーパニメントにおいて音楽的に意味のあるダイナミクス、タイミング、アーティキュレーションをどれほど効果的に生成できるか？
• RQ3 外部ハードウェア（例：USBノブコントローラー）を介して、表現的パフォーマンスをどれほどリアルタイムで制御・変調できるか？
• RQ4 スコアフォロワーとディープラーニングベースのパフォーマンスモデルを統合することで、自動アコーパニメントの表現性と整合性はどの程度向上するか？
• RQ5 定量的評価にはどのような限界があり、表現的アコーパニメントシステムの音楽的質を評価するうえでその影響は何か？

主な発見

• ACCompanion v0.1 は、モノフォニックスコアフォロワーと Basis-Mixer フレームワークを効果的に統合し、動的・タイミング・アーティキュレーション表現性を備えたリアルタイム表現的アコーパニメントを生成した。
• 本システムは HMM フレームワーク内にスイッチングカルマンフィルタを用いて、ソロリストの位置とテンポをリアルタイムパフォーマンスに十分な精度で追跡している。
• Basis-Mixer モデルは、ベートーベン・ソナタのパフォーマンスから、ベロシティトレンド、マイクロタイミングのずれ、アーティキュレーション比といった表現的パフォーマンス特徴を効果的に学習・再現している。
• GUI は色分けされたノートを用いてリアルタイムの視覚フィードバックを提供しており、ソロパートの正しく演奏されたノート、挿入されたノート、誤ったノートを区別し、明るさでダイナミクスを表示している。
• 本システムは USB ノブコントローラーを介して、表現的ターゲットのリアルタイム制御を可能としており、表現的パrameter の動的変調が可能である。
• 本プロトタイプでは正式な定量的評価は実施されていないが、確率的スコアフォローとニューラル表現的パフォーマンスモデリングを統合する仕組みが、インタラクティブ音楽アプリケーションにおいて実現可能であることを示している。