[論文レビュー] Strike on Stage : a Percussion and Media Performance

Charles Martín, Chi-Hsia Lai|arXiv (Cornell University)|Jun 1, 2011

Interactive and Immersive Displays参考文献 2被引用数 5

ひとこと要約

Strike on Stage は、コンピュータビジョンを用いてパーカッション奏者のジェスチャーをリアルタイムで追跡するインタラクティブなオーディオビジュアルパフォーマンスシステムを紹介する。このシステムは、打鍵動作から直接処理されたサウンドを発生させるとともに、応答的なビジュアルを投影し、ステージスクリーンの背後にオーディオとビジュアルを統合することで、視覚的・聴覚的なジェスチャーを強化し、実物の楽器演奏と「空打ち」の両方を可能にする、統合的で没入感のある体験を創出する。

ABSTRACT

This paper describes Strike on Stage, an interface and corresponding audio-visual performance work developed and performed in 2010 by percussionists and media artists Chi-Hsia Lai and Charles Martin. The concept of Strike on Stage is to integrate computer visuals and sound into an improvised percussion performance. A large projection surface is positioned directly behind the performers, while a computer vision system tracks their movements. The setup allows computer visualisation and sonification to be directly responsive and unified with the performers' gestures.

研究の動機と目的

• コンピュータ生成ビジュアルとオーディオをライブパーカッション即興演奏と統合するパフォーマンスシステムの開発。
• 従来の単一演奏者・手元中心のインターフェースの限界を克服し、2名の演奏者が全身のジェスチャーとドラムスティックを用いることを可能にする。
• 視覚的・音響的整合性を保ちながら、最小限の構成で持ち運びやすく、低コストなセットアップを実現する。
• コンピュータビジョンが打鍵動作（たたきつけやバウンス）を高応答性で検出し、それに応答する方法の探求。
• デジタルメディアを身体的動きの自然な延長として位置づけることで、ライブパフォーマンスの表現可能性を拡張する。

提案手法

• 8個の赤外線LEDを背面から照射することで、コンピュータビジョンに適したクリアな輪郭を形成する、床置きの布製プロジェクションスクリーンを用意。
• 3メートル前方に配置された赤外線センシティブなカメラが、演奏者および楽器のリアルタイムな輪郭を捉える。
• スクリーンの前面に設置された可視光プロジェクタが、演奏者とスクリーンに直接ビジュアルを投影し、パフォーマンス空間に統合する。
• オーディオ処理はSuperColliderで実行され、スティック先端の加速度を検出することで、サンプル（例：シンバル、コンガ）をトリガー・変形する。
• ビジュアルフィードバックはopenFrameworksを用いて生成され、ジェスチャー点の加速度に応じて輪郭から延長される動的な線を投影する。
• 楽器の下に設置されたマイクがアコースティックサウンドを捉え、スクリーンの背後に隠されたスピーカーが音声を発することで、ステージの視認性を最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 ライブパフォーマンス中、コンピュータビジョンを用いて打鍵ジェスチャーをリアルタイムで検出し、それに応答する方法は何か？
• RQ2 プロジェクションされたビジュアルと合成されたオーディオは、パーカッション奏者の身体的ジェスチャーの自然な延長としてどれほど認識されるか？
• RQ3 2名の演奏者が全身を用いたインタラクションを行うシステムは、即興的文脈において応答性と芸術的表現性を両立できるか？
• RQ4 演奏者の背後に配置されたプロジェクションとオーディオの統合は、観客がパフォーマンス全体を統合的・一体的に感じ取るのをどのように支援するか？
• RQ5 持ち運びやすく低コストでありながらも、効果的なインタラクティブパフォーマンスシステムを実現するための技術的・芸術的戦略は何か？

主な発見

• システムは、ボブトラッキングアルゴリズムを用いて、特にスティックのバウンスインパクトを正確に検出し、スティック先端の加速度を測定することで、打鍵ジェスチャーを成功裏に検出できた。
• 演奏者は楽器をたたくだけでなく、「空打ち」によってもコンピュータ生成サウンドをトリガーでき、ジェスチャーそのものに対するシステムの応答性が裏付けられた。
• 輪郭から延長される可変長の動的ラインとしてのビジュアルフィードバックは、観客から演奏者の動きの自然な延長として認識された。
• 設営時間の短縮を伴いながらも、多様なパフォーマンス環境で安定して動作し、システムのポータビリティと耐久性が確認された。
• 観客のフィードバックから、視覚的・音響的要素と身体的ジェスチャーの統合が、説得力があり没入的で芸術的に整合性のあるパフォーマンス体験を創出していることが裏付けられた。
• 小型スクリーンと1個の赤外線ライトを備えた「マイクロ」版システムが開発・実演され、スケーラビリティと適応性が実証された。