[논문 리뷰] Tracking Ensemble Performance on Touch-Screens with Gesture Classification and Transition Matrices

Charles Martín, Henry Gardner외 1명|arXiv (Cornell University)|2020. 12. 01.

Music Technology and Sound Studies참고 문헌 29인용 수 5

한 줄 요약

이 논문은 제스처 분류와 전이 행렬을 사용하여 앙상블 터치스크린 연주를 실시간으로 추적하고, 음악적 혁신을 탐지하는 시스템을 제시한다. 랜덤 포레스트 분류기를 터치 제스처에 적용하고 제스처 전이 행렬의 플럭스를 계산함으로써, 시스템은 아이패드 앱을 실시간으로 보상, 방해 또는 지원하도록 동적으로 수정한다. 이는 97%의 분류 정확도를 달성하고 약 25명의 연주자까지 실시간으로 확장 가능하다.

ABSTRACT

We present and evaluate a novel interface for tracking ensemble performances on touch-screens. The system uses a Random Forest classifier to extract touch-screen gestures and transition matrix statistics. It analyses the resulting gesture-state sequences across an ensemble of performers. A series of specially designed iPad apps respond to this real-time analysis of free-form gestural performances with calculated modifications to their musical interfaces. We describe our system and evaluate it through cross-validation and profiling as well as concert experience.

연구 동기 및 목표

• 터치스크린 제스처를 사용하여 실시간으로 앙상블 즉흥 연주를 추적하는 서버 기반 에이전트를 개발하는 것.
• 제스처 전이 행렬 분석을 통해 앙상블 연주에서 새로운 음악적 아이디어(신규 아이디어)를 탐지하는 것.
• 앙상블 행동에 기반하여 인터페이스가 적응하는 반응형 아이패드 앱을 설계하는 것.
• 시스템의 정확도, 확장성, 실연 환경에서의 실용성을 평가하는 것.

제안 방법

• 원시 터치 입력을 이산적 제스처 상태로 매핑하기 위해 레이블이 부여된 터치 제스처 데이터로 랜덤 포레스트 분류기를 훈련한다.
• 여러 연주자로부터의 제스처 상태 시퀀스를 사용하여 앙상블 전역의 상태 전이를 나타내는 전이 행렬을 계산한다.
• 제스처 전이 행렬에 새로운 '플럭스' 측정치를 적용하여 앙상블 행동의 중대한 변화를 탐지하고, 새로운 음악적 아이디어의 신호를 제공한다.
• 감지된 플럭스에 기반하여 Snow Music, PhaseRings, BirdsNest라는 세 가지 커스터마이징된 아이패드 앱에서 실시간 인터페이스 업데이트를 트리거한다.
• 성능 평가를 위해 제스처 분류에 대해 교차 검증을 수행하고, 계산적 확장성을 평가하기 위해 시간 프로파일링을 실시한다.
• 시스템은 실연 공연 및 설치 전시에 배포되어 실제 환경에서의 사용성과 연주자 피드백을 평가한다.

Figure 1: An iPad septet performing with Metatone Classifier and our apps. The lower plot shows the ensemble’s gestures over the whole performance. Moments of peak change that triggered “new-idea” messages are marked with vertical red lines.

실험 결과

연구 질문

• RQ1 기계 학습 모델은 앙상블 연주에서 자유형 터치 제스처를 얼마나 정확하게 분류할 수 있는가?
• RQ2 전이 행렬 분석은 새로운 음악적 아이디어를 암시하는 의미 있는 앙상블 행동 변화를 탐지할 수 있는가?
• RQ3 앙상블 규모가 증가함에 따라 시스템의 계산 비용은 어떻게 확장되는가?
• RQ4 연주자들이 실연 환경에서 적응형 인터페이스 반응을 얼마나 지지적이고 창의적으로 느끼는가?

주요 결과

• 고품질의 자동 캡처 데이터로 훈련된 분류기는 수동 비디오 기반 분석을 뛰어넘는 97%의 정확도를 달성했다.
• 네 명의 연주자와 함께 평균 0.158초당 1초 분량의 분석을 완료했으며, 분석 시간과 연주자 수 사이에 선형 관계가 있었다.
• 시간 프로파일링 결과, 테스트 하드웨어에서 시스템은 약 25명의 연주자까지 실시간으로 지원할 수 있다(초당 분석 1회).
• 실연 공연 경험을 통해 시스템의 실용성이 확인되었으며, 연주자들은 고유한 제스처 스타일을 개발하고 적응형 인터페이스 반응에 만족함을 보고했다.
• 플럭스 측정치는 음악적 변화의 순간을 효과적으로 탐지하여 앱에서 적절하고 의미 있는 간섭을 가능하게 했다.
• 연구 결과, 제어된 고품질 훈련 데이터가 수동으로 수집된 데이터보다 분류기 정확도를 크게 향상시켜 자동 데이터 수집의 타당성을 입증했다.

Figure 2: The performance architecture of our system of server-based agent and iPad apps. Each iPad connects automatically to the server over WiFi. All touch interactions are logged and classified into gestures by the server which returns individual gesture and ensemble “new-idea” events throughout