[论文解读] Cross-artform performance using networked interfaces: Last Man to Die's Vital LMTD

Charles Martín, Benjamin Forster+1 more|arXiv (Cornell University)|Dec 1, 2020

Interactive and Immersive Displays参考文献 4被引用 4

一句话总结

本文介紹了Vital LMTD，這是一場結合現場音樂、視覺藝術與戲劇的跨藝術形式演出，透過客製化的網路化介面實現。演出者使用配備fiducial標記道具的電腦視覺表面與基於Arduino的脈搏感測器，透過以敘事為導向的身體動作控制音訊視覺反應，在現場表演環境中實現了無縫、可靠且與劇情融合的互動效果。

ABSTRACT

In 2009 the cross artform group, Last Man to Die, presented a series of performances using new interfaces and networked performance to integrate the three artforms of its members (actor, Hanna Cormick, visual artist, Benjamin Forster and percussionist, Charles Martin). This paper explains our artistic motivations and design for a computer vision surface and networked heartbeat sensor as well as the experience of mounting our first major work, Vital LMTD.

研究动机与目标

• 開發新型、與敘事融合的介面，讓表演者能透過符合角色的身體動作控制音樂與影像，而非傳統控制器操作。
• 利用實體運算與網路化OSC通訊，建立可靠、低失誤的現場演出環境，實現音訊視覺的即時同步。
• 透過將技術基礎設施整合至佈景設計與演出敘事中，使技術本身對觀眾而言具可見性與意義。
• 探討實體運算如何支援隱含的、非任意的表演者互動，使其與角色設定與劇情邏輯相符。
• 在不需表演者監看螢幕或控制器的情況下，實現音訊視覺系統的即時回饋。

提出的方法

• 使用修改過的PlayStation Eye鏡頭與reacTIVision軟體，打造一張咖啡桌尺寸的電腦視覺表面，用以追蹤茶杯、實驗器材與撲克牌上的fiducial標記。
• 在道具上貼附fiducial標記，以實時追蹤物體位置與動作，數據透過本地網路以OSC與TUIO通訊協定傳輸。
• 使用紅外線LED與光電晶體管的Arduino基底脈搏感測器，偵測因心跳導致皮膚透光度的變化，並經訊號處理以識別心跳。
• 配備乙太網路模組的Arduino板，透過有線網路將OSC訊息傳送至演出電腦，實現音訊視覺反應的同步。
• 採用集中式網路架構，透過有線路由器讓所有介面（視覺表面、脈搏感測器、Wii遙控器、MIDI樂器）能同時廣播至所有客戶端電腦。
• 佈景設計強調技術的可見性，將鏡頭、燈光與框架元件外露，使介面成為戲劇美學的一部分。

实验结果

研究问题

• RQ1 如何設計實體運算介面，使其支援敘事驅動的演出，而非任意的控制動作？
• RQ2 哪些技術與藝術策略能實現現場戲劇中具即時音訊視覺回饋的可靠、低失誤網路化演出？
• RQ3 在不破壞演出流暢性的前提下，應如何使底層技術對觀眾而言具可見性與意義？
• RQ4 能否以最少的硬體與校準步驟，實現可靠的脈搏感測器應用於現場演出環境？
• RQ5 網路化OSC通訊如何簡化多個互動裝置在現場演出系統中的整合？

主要发现

• 電腦視覺表面成功實現與敘事融合的控制，例如將撲克牌放置於表面可觸發特定音訊視覺提示，提升劇情的連貫性。
• 基於Arduino的脈搏感測器在無訊號放大與使用者校準的情況下，仍能準確偵測脈搏，證明其在現場演出中具備高度可靠性與最低設定需求。
• 使用社群開發的Linux驅動程式搭配PlayStation Eye鏡頭，即使在表面邊緣也能實現穩定的fiducial追蹤，表現優於Mac OS X驅動程式。
• 網路化OSC架構允許動態新增裝置（如Wii遙控器、MIDI樂器）而無需重新設定既有系統，大幅提升彈性。
• 將可見技術整合至佈景設計中，使介面成為演出美學與敘事的一部分，進而提升觀眾參與度。
• 表演者透過僅限於符合角色的動作（如設置實驗器材）來互動，大幅降低技術錯誤，提升藝術一體性與演出可靠性。