[論文レビュー] Tracking Ensemble Performance on Touch-Screens with Gesture Classification and Transition Matrices

Charles Martín, Henry Gardner+1 more|arXiv (Cornell University)|Dec 1, 2020

Music Technology and Sound Studies参考文献 29被引用数 5

ひとこと要約

本論文では、ジェスチャー分類と遷移行列を用いて、音楽的革新を検出するリアルタイムシステムを提示している。ランダムフォレスト分類器をタッチジェスチャーに適用し、ジェスチャー遷移行列のフラックスを計算することで、システムはiPadアプリを動的に変更し、即興的探求を奨励・干渉・支援する。分類精度は97%に達し、リアルタイムで約25名のパフォーマーにスケーリング可能である。

ABSTRACT

We present and evaluate a novel interface for tracking ensemble performances on touch-screens. The system uses a Random Forest classifier to extract touch-screen gestures and transition matrix statistics. It analyses the resulting gesture-state sequences across an ensemble of performers. A series of specially designed iPad apps respond to this real-time analysis of free-form gestural performances with calculated modifications to their musical interfaces. We describe our system and evaluate it through cross-validation and profiling as well as concert experience.

研究の動機と目的

• タッチスクリーンジェスチャーを用いて、リアルタイムでアンサンブル即興を追跡するサーバーベースのエージェントを開発すること。
• ジェスチャー遷移行列解析を用いて、アンサンブルパフォーマンスにおける音楽的革新（新規アイデア）の瞬間を検出すること。
• アンサンブルの行動に基づいてインターフェースを適応させる、反応性の高いiPadアプリを設計すること。
• ライブコンサート環境におけるシステムの精度、スケーラビリティ、実用性を評価すること。

提案手法

• ラベル付きタッチジェスチャーデータを用いて、ランダムフォレスト分類器をトレーニングし、生のタッチ入力を離散的ジェスチャー状態にマッピングする。
• 複数のパフォーマーからのジェスチャー状態シーケンスを用いて、アンサンブル全体の状態遷移を表す遷移行列を計算する。
• アンサンブル行動の顕著な変化を検出するため、遷移行列に新たな「フラックス」測度を計算する。
• 検出されたフラックスに基づき、Snow Music、PhaseRings、BirdsNestの3つのカスタムiPadアプリでリアルタイムのインターフェース更新をトリガーする。
• パフォーマンス評価には、ジェスチャー分類の交差検証と、計算スケーラビリティを評価するための時間プロファイルを用いる。
• システムはライブコンサートおよびインスタレーションに導入され、現実世界での実用性とパフォーマーからのフィードバックを評価した。

Figure 1: An iPad septet performing with Metatone Classifier and our apps. The lower plot shows the ensemble’s gestures over the whole performance. Moments of peak change that triggered “new-idea” messages are marked with vertical red lines.

実験結果

リサーチクエスチョン

• RQ1 機械学習モデルは、アンサンブルパフォーマンスにおける自由なフォームのタッチジェスチャーをどれほど正確に分類できるか？
• RQ2 遷移行列解析は、新規音楽的アイデアを示す意味のあるアンサンブル行動の変化を検出できるか？
• RQ3 アンサンブル規模の増加に伴い、システムの計算コストはどのようにスケーリングするか？
• RQ4 パフォーマーは、ライブパフォーマンスにおいて、適応型インターフェース反応をどれほど支援的で創造的と感じているか？

主な発見

• 高品質で自動的にキャプチャされたデータを用いてトレーニングした分類器は、手動による動画分析を上回り、97%の精度を達成した。
• 4名のパフォーマーを想定した場合、システムの分類および分析処理は1秒あたり平均0.158秒で完了し、パフォーマンス時間とパフォーマー数の間に線形関係が確認された。
• 時間プロファイリングの結果、テストハードウェア上では、システムが1秒あたり1回の解析を実行可能な状態で、約25名のパフォーマーまでリアルタイムで対応可能であると示唆された。
• ライブコンサート体験から、システムの実用性が確認され、パフォーマーは独自のジェスチャー様式を発展させ、適応型インターフェース反応に満足していると報告した。
• フラックス測度は、音楽的変化の瞬間を効果的に検出し、アプリでのタイムリーかつ意味のある干渉を可能にした。
• 本研究では、制御的で高品質なトレーニングデータが、手動収集データよりも分類器の精度を著しく向上させることを明らかにした。これにより、自動データ収集の正当性が裏付けられた。

Figure 2: The performance architecture of our system of server-based agent and iPad apps. Each iPad connects automatically to the server over WiFi. All touch interactions are logged and classified into gestures by the server which returns individual gesture and ensemble “new-idea” events throughout