[論文レビュー] Cross-artform performance using networked interfaces: Last Man to Die's Vital LMTD

Charles Martín, Benjamin Forster+1 more|arXiv (Cornell University)|Dec 1, 2020

Interactive and Immersive Displays参考文献 4被引用数 4

ひとこと要約

本論文では、カスタムネットワーキングインターフェースを用いてライブ音楽、視覚芸術、演劇を統合したクロスアートフォームのパフォーマンス「Vital LMTD」を提示する。コンピュータビジョンサーフェスにフィーチャーマーク付きの小物を用い、アーギュメントベースのハートビートセンサーを組み合わせることで、パフォーマーは物語に根ざした身体的ジェスチャーによってオーディオビジュアル反応を制御した。その結果、ライブパフォーマンスの場において、滑らかで信頼性が高く、物語に統合されたインタラクティビティを実現した。

ABSTRACT

In 2009 the cross artform group, Last Man to Die, presented a series of performances using new interfaces and networked performance to integrate the three artforms of its members (actor, Hanna Cormick, visual artist, Benjamin Forster and percussionist, Charles Martin). This paper explains our artistic motivations and design for a computer vision surface and networked heartbeat sensor as well as the experience of mounting our first major work, Vital LMTD.

研究の動機と目的

• パフォーマーが従来のコントローラー・ジェスチャーではなく、キャラクター内での身体的行動によって音楽やビジュアルを制御できる、物語に統合された新しいインターフェースの開発。
• リアルタイムのオーディオビジュアル同期を実現するため、パフォーマンス用の物理コンピューティングとネットワーキング OSC 通信を用いた、信頼性が高くトラブルの少ないパフォーマンス環境の構築。
• 技術的インfraストラクチャをセットデザインとパフォーマンス・ナラティブに統合することで、観客に可視的かつ意味のあるものとする。
• 物理コンピューティングが、キャラクターの役割や物語の論理に合致した、非任意なパフォーマーのインタラクションをどのように支援できるかの探求。
• パフォーマーがスクリーンやコントローラーを監視する必要なく、リアルタイムで応答するフィードバックを受けられる環境の実現。

提案手法

• テーキャップ、実験器具、トランプカードにフィーチャーマークを付けてリアルタイムで位置とジェスチャーを追跡できる、改良型プレイステーション・アイカメラと reacTIVision ソフトウェアを用いたコーヒーテーブルサイズのコンピュータビジョンサーフェス。
• フィーチャーマークを小物に取り付け、位置とジェスチャーのリアルタイム追跡を可能にし、OSC および TUIO プロトコルを用いてローカルネットワーク経由でデータを送信。
• 赤外線LEDとフォトトランジスタを用いたアーギュメントベースのハートビートセンサーで、皮膚の透過率の変化を検出し、信号処理により心拍を特定。
• イーサーネット・シールドを搭載したアーギュメントボードが、有線ネットワーク経由で OSC メッセージをパフォーマンス用コンピュータに送信し、同期されたオーディオビジュアル反応を実現。
• 有線ルーターを介した集中型ネットワーキングアーキテクチャにより、すべてのインターフェース（ビジョンサーフェス、ハートビートセンサー、Wiiリモコン、MIDI楽器）が同時にすべてのクライアントコンピュータにブロードキャスト可能。
• セットデザインでは、カメラ、ライト、フレーム部品を露出させることで、技術的インフラを劇的美学の一部として可視化した。

実験結果

リサーチクエスチョン

• RQ1 物理コンピューティングインターフェースは、任意の制御ジェスチャーではなく、物語中心のパフォーマンスを支援するようにどのように設計できるか？
• RQ2 リアルタイムのオーディオビジュアルフィードバックを伴うライブ・シアターにおけるネットワーキングパフォーマンスを、信頼性が高くトラブルの少ない状態で実現するための技術的および芸術的戦略は何か？
• RQ3 基盤となる技術を、パフォーマンスの流れを損なわずに、観客にとって可視的かつ意味のあるものとするにはどのような方法があるか？
• RQ4 最小限のハードウェアとキャリブレーションで、ライブパフォーマンス環境においても信頼性が保証されるハートビートセンサーを実装できるか？
• RQ5 ネットワーキング OSC 通信は、ライブパフォーマンスシステムにおける複数のインタラクティブデバイスの統合をどのように簡素化できるか？

主な発見

• コンピュータビジョンサーフェスは、トランプカードを置くといったジェスチャーが特定のオーディオビジュアル・キューやをトリガーするなど、物語に統合された制御を成功裏に実現し、物語の整合性を高めた。
• アーギュメントベースのハートビートセンサーは、信号増幅やユーザーキャリブレーションなしで正確に脈拍を検出でき、最小限のセットアップでライブパフォーマンスに耐えうる信頼性を示した。
• コミュニティ開発の Linux ドライバをプレイステーション・アイカメラに適用することで、サーフェスの縁すれすれでも安定したフィーチャーマーク追跡が可能になり、Mac OS X ドライバーよりも優れた性能を発揮した。
• ネットワーキング OSC アーキテクチャにより、WiiリモコンやMIDI楽器といった新しいデバイスの動的追加が可能であり、既存システムの再設定なしに柔軟性を向上させた。
• セットデザインに技術的インフラを統合することで、インターフェースがパフォーマンスのアート的美学とナラティブの一部となり、観客の関与を高めた。
• パフォーマーは、実験器具のセットアップなど、キャラクター内行動に限定したインタラクションにより、技術的エラーを低減し、芸術的整合性を高めるという点で高い信頼性を達成した。