[논문 리뷰] Composing an Ensemble Standstill Work for Myo and Bela

Charles Martín, Alexander Refsum Jensenius외 1명|arXiv (Cornell University)|2020. 12. 04.

Music Technology and Sound Studies참고 문헌 6인용 수 10

한 줄 요약

이 논문은 Myo 제스처 팔목밴드와 Bela 임베디드 플랫폼을 사용하여, 최소한의 근육 긴장도가 소리 출력을 제어하는 '정지 상태' 연주를 가능하게 하는 이식성 있고 임베디드 시스템을 제시한다. 저자들은 Linux 호환성 문제와 BLE 연결 수 제한을 극복하기 위해 커스터마이징된 Myo-to-Bela 및 Myo-to-OSC 소프트웨어 브리지 개발을 통해, EMG 및 자elsensor 데이터를 이용한 실시간, 저지연의 8개의 사인 오실레이터 제어를 가능하게 하였으며, 소리는 오직 미세한 운동 동안에만 활성화된다. 이는 'Stillness Under Tension'이라는 작품을 통해 구현되었다.

ABSTRACT

This paper describes the process of developing a standstill performance work using the Myo gesture control armband and the Bela embedded computing platform. The combination of Myo and Bela allows a portable and extensible version of the standstill performance concept while introducing muscle tension as an additional control parameter. We describe the technical details of our setup and introduce Myo-to-Bela and Myo-to-OSC software bridges that assist with prototyping compositions using the Myo controller.

연구 동기 및 목표

• Myo 팔목밴드와 Bela 플랫폼을 사용하여 제스처 음악을 위한 이식성 있고 실시간 성능 시스템을 개발한다.
• 다수의 연주자 환경에서 Myo Connect의 리눅스 지원 부족 및 BLE 연결 수 제한 문제를 해결한다.
• 디지털 음악 연주에서 미세한 운동과 지속적인 근육 긴장도의 표현 가능성을 탐색한다.
• 최소한의 운동이 최대의 소리를 생성하는 새로운 역함수 매핑을 구현하여 '정지 상태' 연주 개념을 정의한다.
• 임베디드 하드웨어에 사전 설정된 오디오 패치를 탑재한 신뢰성 있는 자동 부팅 성능 설정을 가능하게 한다.

제안 방법

• MyoLinux를 사용하여 C++ 기반의 Myo-to-Bela 렌더 파일을 개발하여, Myo 팔목밴드의 EMG 및 자elsensor 데이터를 Bela의 Pure Data 패치로 직접 스트리밍한다.
• 순수한 파이썬 기반의 Myo-to-OSC 브리지 구현을 통해 리눅스 및 기타 시스템에서 Myo 기반 상호작용의 프로토타이핑을 가능하게 하였다.
• 각 연주자에게 하나의 Bela를 할당하고, BLE를 통해 Myo에 연결하는 성능 설정을 설계하여, 복수의 컴퓨터가 필요 없도록 하였다.
• Bela의 사전 로딩된 오디오 패치로 바로 부팅할 수 있도록 하여, 40초 이내에 일관되고 신뢰할 수 있는 성능 시작을 보장하였다.
• EMG 신호를 오실레이터의 진폭에 매핑하고, 자세의 기울기(피치)를 오실레이터의 음고에, 요동(야와)을 톤의 분포에, 굽힘 각도(롤)를 왜곡 증폭에 매핑하였다.
• 가속도 및 회전 크기를 기반으로 한 QoM(운동 양, Quantity of Motion) 지표를 구현하여, 운동이 임계값을 초과하면 소리가 즉시 차단되도록 하였다.

Figure 1: Our mobile performance setup using a Bela and Myo, powered by a USB battery.

실험 결과

연구 질문

• RQ1 Myo 팔목밴드는 실시간, 이식 가능한 음악 연주를 위해 임베디드 오디오 플랫폼인 Bela와 어떻게 효과적으로 통합될 수 있는가?
• RQ2 Myo Connect의 리눅스 지원 부족 및 다수 연주 환경에서의 BLE 연결 수 제한 문제를 해결하기 위한 기술적 해결책은 무엇인가?
• RQ3 근육 긴장도와 미세한 운동은 어떻게 소리로 매핑되어 표현적인 정지 상태 기반의 연주를 가능하게 할 수 있는가?
• RQ4 정지 상태에서 소리가 발생하고, 운동이 있을 경우 소리가 차단되는 역함수 매핑 기반의 시스템이 새로운 형태의 연주자 간 상호작용을 가능하게 할 수 있는가?
• RQ5 여러 명의 Myo 연주자가 EMG 및 자elsensor 데이터를 동기화하여 최소한의 운동으로 연주하는 데서 실용적이고 표현적인 영향은 무엇인가?

주요 결과

• 커스터마이징된 Myo-to-Bela C++ 렌더 파일은 Myo 팔목밴드에서 Bela의 Pure Data 패치로 EMG 및 자elsensor 데이터를 실시간으로 스트리밍하는 데 성공하였으며, 안정적인 부팅 및 연결 성능을 보였다.
• Myo-to-OSC 파이썬 브리지는 리눅스에서 Myo 기반 상호작용의 효과적인 프로토타이핑을 가능하게 하여, 크로스플랫폼 개발 및 테스트를 지원하였다.
• 각 연주자의 설정(1대의 Bela와 1대의 Myo)은 BLE 연결 충돌 없이 독립적인 제어를 가능하게 하여, 표준 Myo BLE 도킹기의 3개 연결 제한 문제를 해결하였다.
• 'Stillness Under Tension' 작품을 통해 지속적인 근육 긴장도가 연속적인 소리를 생성할 수 있음을 입증하였으며, 임계값을 초과하는 어떤 운동이라도 2초 내로 출력을 차단하였다.
• 연주자들은 미세한 근육 활성화와 팔의 위치 조절을 통해 표현적인 음색 변화를 달성하였으며, 개인화된 설정으로 각각의 연주자 간 고유한 화성 및 톤 프로파일을 구현하였다.
• 9분 동안의 4개의 구분된 자세를 포함한 성능 구조는 최소한의 운동 원칙을 유지하면서도 음향 가능성의 통제된 탐색을 가능하게 하였다.

Figure 2: The premiere of Stillness Under Tension . Each performer could use their arm muscles to activate different oscillators, while their arm direction selected a different timbre and base frequency.