[논문 리뷰] Mechatronics-Driven Musical Expressivity for Robotic Percussionists

Ning Yang, Richard Savery외 3명|arXiv (Cornell University)|2020. 07. 29.

Music Technology and Sound Studies참고 문헌 28인용 수 6

한 줄 요약

이 논문은 블러드 모터를 사용한 기계적 제어 기반의 새로운 구현 방식을 제시하며, 로봇 마리마바 플레이어인 시몬에서 기존 솔레노이드 기반 시스템에 비해 더 뛰어난 동적 범위 일관성과 타건 속도를 달성한다. 주관적 청취 테스트 결과, 블러드 모터 시스템의 음악적 표현력은 인간 연주자와 통계적으로 구분되지 않으며, 표현력 면에서 솔레노이드 기반 로봇을 능가하면서도 인간 수준의 성능을 보였다.

ABSTRACT

Musical expressivity is an important aspect of musical performance for humans as well as robotic musicians. We present a novel mechatronics-driven implementation of Brushless Direct Current (BLDC) motors in a robotic marimba player, named Shimon, designed to improve speed, dynamic range (loudness), and ultimately perceived musical expressivity in comparison to state-of-the-art robotic percussionist actuators. In an objective test of dynamic range, we find that our implementation provides wider and more consistent dynamic range response in comparison with solenoid-based robotic percussionists. Our implementation also outperforms both solenoid and human marimba players in striking speed. In a subjective listening test measuring musical expressivity, our system performs significantly better than a solenoid-based system and is statistically indistinguishable from human performers.

연구 동기 및 목표

• 솔레노이드 기반 로봇 타악기 연주자의 제한된 동적 범위와 일관성 없는 성능 문제를 해결하기 위해.
• 소리의 강도와 마이크로 타이밍에 대한 정밀한 제어를 통해 로봇 연주자의 음악적 표현력을 향상시키기 위해.
• 블러드 모터 구동 방식이 인간 연주자와 구분되지 않을 정도로 표현력을 구현할 수 있는지 평가하기 위해.
• 블러드 모터, 솔레노이드, 인간 연주자 간의 객관적 성능 지표(속도, 동적 범위)를 비교하기 위해.
• 주관적 청취 테스트를 통해 인간 및 솔레노이드 기반 기준과 비교하여 시스템의 표현력을 검증하기 위해.

제안 방법

• 시몬의 솔레노이드 액추에이터를 8개의 블러드 모터로 교체하였으며, 각각의 위치 및 가속도에 대해 PID 피드백 루프를 사용하여 제어하였다.
• 클램프와 소리 흡음재를 사용한 이중 모터 암 시스템을 설계하여 타건 동역학을 고립하고 제어하였다.
• MIDI 속도의 선형 보간을 통해 음압 강도를 제어하였으며, 잔차 노름(residual norm)은 6.899e-05를 기록하였다.
• 32.9 Hz까지 지속적으로 작동할 수 있는 고속 모터 컨트롤러를 사용하여 과전류 보호 기능이 발동하기 전까지의 성능을 확보하였다.
• 모든 액추에이터 유형에 대해 동적 범위 일관성과 타건 속도를 측정하는 객관적 테스트를 실시하였다.
• 21명의 참가자가 참여한 이항 주관적 청취 테스트를 통해 블러드 모터, 솔레노이드, 인간 연주자의 표현력 간을 비교하였다.

실험 결과

연구 질문

• RQ1 블러드 모터는 솔레노이드 기반 로봇 타악기 연주자보다 더 넓고 일관성 있는 동적 범위를 달성할 수 있는가?
• RQ2 블러드 모터 시스템은 표현적인 연주에 필요한 충분한 마이크로 타이밍 해상도를 갖춘 높은 타건 속도를 지원하는가?
• RQ3 블러드 모터 구동 로봇 타악기 연주자의 음악적 표현력이 인간 연주자와 구분되지 않을 정도로 인식되는가?
• RQ4 블러드 모터 시스템은 객관적 성능 지표와 주관적 표현력 평가 모두에서 솔레노이드 기반 시스템보다 우수한가?
• RQ5 블러드 모터의 피드백 제어 정밀도가 음향 출력의 안정성과 일관성 향상에 어느 정도 기여하는가?

주요 결과

• 블러드 모터는 최대 타건 속도 32.9 Hz를 기록하여, 솔레노이드의 8.3 Hz와 인간 연주자의 평균 7.1 Hz를 크게 초월하였다.
• 블러드 모터 시스템은 74 dB에서 시스템 한계까지 일관된 동적 범위를 제공하였으며, 속도 수준 간의 변동이 최소화되어 있었고, 솔레노이드의 불안정한 출력과는 대조적이었다.
• 솔레노이드 시스템은 최소 음압 수준이 74 dB로 하한선이 있었으며, 이는 블러드 모터 시스템이 전체 동적 범위의 해상도를 달성할 수 있음을 시사한다.
• 주관적 테스트 결과, 블러드 모터 시스템은 솔레노이드 시스템보다 유의미하게 높은 표현력 평가를 받았으며(p = 0.0029), 참가자들이 블러드 모터의 표현력을 더 선호하였다.
• 표현력 면에서 블러드 모터 시스템은 인간 연주자와 통계적으로 구분되지 않았다(p = 0.19), 총 252회의 비교 중 인간은 137표, 블러드 모터는 115표를 기록하였다.
• 블러드 모터 시스템의 음압 강도는 MIDI 속도 단계당 1.4472e-06 W/m² 증가하였으며, 이는 고해상도 제어를 의미한다.