[논문 리뷰] Strike on Stage : a Percussion and Media Performance

Charles Martín, Chi-Hsia Lai|arXiv (Cornell University)|2011. 06. 01.

Interactive and Immersive Displays참고 문헌 2인용 수 5

한 줄 요약

Strike on Stage는 실시간으로 타악기 연주자의 제스처를 컴퓨터 비전으로 추적하여 반응형 시각 효과를 투사하고, 타격 동작에서 직접 음향을 처리하여 발생시키는 상호작용형 청각시각 공연 시스템을 소개한다. 이 시스템은 스테이지 스크린 뒤에 투사 및 음향을 통합하여, 시각과 음향이 신체 제스처를 보완함으로써 실시간 피드백을 제공하는 통합된 몰입형 경험을 창출한다. 이는 악기 기반의 상호작용 뿐 아니라 '에어 드럼' 방식의 상호작용도 가능하게 한다.

ABSTRACT

This paper describes Strike on Stage, an interface and corresponding audio-visual performance work developed and performed in 2010 by percussionists and media artists Chi-Hsia Lai and Charles Martin. The concept of Strike on Stage is to integrate computer visuals and sound into an improvised percussion performance. A large projection surface is positioned directly behind the performers, while a computer vision system tracks their movements. The setup allows computer visualisation and sonification to be directly responsive and unified with the performers' gestures.

연구 동기 및 목표

• 컴퓨터 생성 시각과 음향을 라이브 타악기 즉흥연주와 통합하는 공연 시스템을 개발하는 것.
• 이전의 단일 인물 중심, 손에 국한된 인터페이스의 한계를 해결하여, 두 명의 연주자가 전신 제스처와 타악기 방망이를 사용할 수 있도록 하는 것.
• 시각적·음향적 일관성을 유지하면서도 최소화되고 이동성이 있으며 저비용인 설정을 만드는 것.
• 컴퓨터 비전이 타격 동작(예: 타격, 튀김)을 고해상도로 감지하고 반응할 수 있는지 탐구하는 것.
• 디지털 미디어를 신체 운동의 자연스러운 연장선으로 만들어 라이브 연주의 표현 가능성을 높이는 것.

제안 방법

• 8개의 적외선 LED로 뒷편에서 조명이 비치는 바닥에 고정된 천으로 된 투사 스크린을 사용하여 청결한 실루엣을 확보한다.
• 3미터 떨어진 앞서 위치한 적외선 감지 카메라가 연주자와 악기의 실시간 실루엣을 촬영한다.
• 스크린 앞에 위치한 가시광선 투사기로 연주자와 스크린에 직접 시각 효과를 투사하여 공연 공간에 통합한다.
• 오디오 처리는 SuperCollider를 통해 수행되며, 방망이 끝의 가속도를 감지함으로써 샘플(예: 싱커벨, 꽹과)을 트리거하고 조작한다.
• 시각 피드백은 openFrameworks를 사용하여 실루엣에서 가속도에 따라 변화하는 길이의 동적 선을 투사함으로써 생성된다.
• 악기 아래에 마이크를 설치하여 악기의 고유 음향을 캡처하고, 스크린 뒤에 loudspeaker를 숨겨서 무대의 최소한의 존재감을 유지한다.

실험 결과

연구 질문

• RQ1 라이브 공연 중 실시간으로 컴퓨터 비전을 사용해 타격 제스처를 감지하고 반응할 수 있는가?
• RQ2 투사된 시각 효과와 합성 음향이 타악기 연주자의 신체 제스처의 자연스러운 연장선으로 인식될 수 있는가?
• RQ3 두 명의 연주자가 전신 제스처를 사용하는 상호작용 시스템을 개발하여 즉흥 연주 환경에서 반응성과 예술적 표현성을 동시에 확보할 수 있는가?
• RQ4 연주자 뒤에 배치된 투사 및 오디오 통합이 관객이 공연를 통합된 전체로 인식하는 데 어떻게 기여하는가?
• RQ5 이동성 있고 저비용이지만 효과적인 상호작용 공연 시스템을 만들기 위해 필요한 기술적·예술적 전략은 무엇인가?

주요 결과

• 시스템은 블롭 추적 알고리즘을 통해 방망이 끝의 가속도를 측정함으로써 타격 동작, 특히 방망이 튀김 타격을 성공적으로 감지하였다.
• 연주자들은 악기를 敲어내는 것 외에도 '에어 드럼'을 통해 단지 제스처만으로도 컴퓨터 생성 음향을 트리거할 수 있었으며, 이는 시스템의 높은 반응성임을 입증하였다.
• 실루엣에서 파생된 동적인, 길이가 변하는 선으로 구성된 시각 피드백은 관객에게 연주자의 움직임의 자연스러운 연장선으로 인식되었다.
• 이 설정은 다양한 공연 환경에서 유연하게 적용되었으며, 최소한의 준비 시간으로도 성공적으로 작동하여 이동성과 내구성을 입증하였다.
• 관객 피드백은 시각과 음향이 신체 제스처와 통합되어 강렬하고 몰입감 있으며, 아티스틱하게 통일된 공연 경험을 창출함을 확인하였다.
• 더 작은 스크린과 단일 적외선 조명을 갖춘 '미니' 버전의 시스템도 성공적으로 개발 및 공연되었으며, 확장성과 적응 가능성의 가능성을 입증하였다.