[논문 리뷰] Cross-artform performance using networked interfaces: Last Man to Die's Vital LMTD

Charles Martín, Benjamin Forster외 1명|arXiv (Cornell University)|2020. 12. 01.

Interactive and Immersive Displays참고 문헌 4인용 수 4

한 줄 요약

이 논문은 실시간 음악, 시각 예술, 연극을 융합한 크로스 아트포맷 공연인 Vital LMTD를 제시한다. 고유의 네트워크 기반 인터페이스를 통해 구현된 공연에서, 연기자들은 피드기어 태그가 부착된 소품과 아두이노 기반의 심박수 센서를 사용하여 서사 중심의 신체 동작을 통해 음향 및 시각 반응을 제어하였다. 이로써 라이브 무대 환경에서 유기적이고 신뢰성 있으며 서사와 융합된 상호작용이 구현되었다.

ABSTRACT

In 2009 the cross artform group, Last Man to Die, presented a series of performances using new interfaces and networked performance to integrate the three artforms of its members (actor, Hanna Cormick, visual artist, Benjamin Forster and percussionist, Charles Martin). This paper explains our artistic motivations and design for a computer vision surface and networked heartbeat sensor as well as the experience of mounting our first major work, Vital LMTD.

연구 동기 및 목표

• 공연자들이 전통적인 컨트롤러 제스처가 아닌 캐릭터 내재된 신체 동작을 통해 음악과 영상을 제어할 수 있는 새로운 서사 통합 인터페이스를 개발한다.
• 실시간 음향 영상 동기화를 위해 물리 컴퓨팅과 네트워크 기반 OSC 통신을 활용하여 고장 최소화된 신뢰성 있는 공연 환경을 조성한다.
• 기술 인프라를 셋드 디자인과 공연 서사에 통합하여 관객에게 보여지고 의미 있는 형태로 구현한다.
• 물리 컴퓨팅이 캐릭터 역할과 스토리 논리에 부합하는 암묵적이고 비임의적인 공연자 상호작용을 어떻게 지원할 수 있는지 탐색한다.
• 공연자들이 화면이나 컨트롤러를 모니터링할 필요 없이 실시간으로 반응하는 오디오비주얼 피드백을 제공한다.

제안 방법

• 테이블 크기의 컴퓨터 비전 표면을 사용하여, 수정된 PlayStation Eye 카메라와 reacTIVision 소프트웨어를 활용해 찻잔, 실험기구, 플래시 카드 등에 부착된 피드기어 마커를 추적한다.
• 소품에 피드기어 마커를 부착하여 물체 위치와 제스처를 실시간으로 추적하고, 데이터는 로컬 네트워크를 통해 OSC 및 TUIO 프로토콜로 전송된다.
• 적외선 LED와 광트anz이스터를 사용한 아두이노 기반 심박수 센서로 피부 투과도 변화를 감지하고, 심박수를 식별하기 위한 신호 처리를 수행한다.
• 이더넷 실드를 장착한 아두이노 보드가 유선 네트워크를 통해 성능 컴퓨터로 OSC 메시지를 전송하여 음향 영상 반응을 동기화한다.
• 유선 라우터를 사용한 중앙 집중식 네트워크 아키텍처로, 비전 표면, 심박수 센서, 와이파이 리모컨, MIDI 악기 등 모든 인터페이스가 동시에 모든 클라이언트 컴퓨터로 브로드캐스트할 수 있도록 설계되었다.
• 셋드 디자인은 기술의 가시성을 강조하여 카메라, 조명, 프레임 구성 요소를 노출시켜 인터페이스를 연극적 미학의 일부로 통합하였다.

실험 결과

연구 질문

• RQ1 물리 컴퓨팅 인터페이스는 어떻게 서사 중심의 공연을 지원할 수 있으며, 임의의 제스처 제어가 아닌가?
• RQ2 실시간 오디오비주얼 피드백이 있는 라이브 극장 공연에서 신뢰성 있고 고장 최소화된 네트워크 기반 공연을 구현하기 위한 기술적 및 예술적 전략은 무엇인가?
• RQ3 기반 기술을 공연 흐름을 방해하지 않으면서 관객에게 보여지고 의미 있게 만들 수 있는 방법은 무엇인가?
• RQ4 심박수 센서는 최소한의 하드웨어와 캘리브레이션으로 라이브 공연 환경에서 신뢰성 있게 기능할 수 있는가?
• RQ5 네트워크 기반 OSC 통신은 라이브 공연 시스템에 다수의 상호작용 기기 통합을 어떻게 단순화할 수 있는가?

주요 결과

• 컴퓨터 비전 표면은 서사 통합 제어를 성공적으로 실현하였으며, 플래시 카드를 놓는 제스처 같은 동작이 특정 오디오비주얼 쿠를 유도하여 스토리 일관성을 향상시켰다.
• 아두이노 기반 심박수 센서는 신호 증폭 또는 사용자 캘리브레이션 없이도 정확한 맥박 감지를 수행하여, 최소한의 설정으로도 라이브 공연에 적합한 신뢰성을 입증하였다.
• 커뮤니티 개발된 리눅스 드라이버를 사용한 PlayStation Eye 카메라가 표면 가장자리에서도 안정적인 피드기어 추적을 가능하게 하여, 맥OS X 드라이버보다 뛰어난 성능을 보였다.
• 네트워크 기반 OSC 아키텍처 덕분에 기존 시스템 재설정 없이도 새로운 장치(예: 와이파이 리모컨, MIDI 악기)를 동적으로 추가할 수 있어 유연성이 향상되었다.
• 셋드 디자인에 기술을 통합함으로써 인터페이스는 공연의 미학적 요소이자 서사적 요소로 기능하였고, 관객의 몰입도가 향상되었다.
• 공연자들은 실험기구를 준비하는 등의 캐릭터 내재 동작에 국한하여 상호작용함으로써 고도의 신뢰성과 예술적 일관성을 달성하였다.