[논문 리뷰] The Supernumerary Robotic 3rd Thumb for Skilled Music Tasks

James Cunningham, Anita Hapsari외 3명|arXiv (Cornell University)|2018. 07. 22.

Advanced Sensor and Energy Harvesting Materials인용 수 5

한 줄 요약

이 논문은 발 기반 제어를 통해 동적 키 압력을 조절하고 실시간 운동 추적을 수행함으로써 피아니스트가 손 범위를 최대 네 개의 반음까지 연장할 수 있도록 도와주는 초과 로봇 3번째 엄지(SR3T)를 제시한다. 난이도가 높은 음악적 과제를 수행하기 위해 빠르게 인지적 몸통일감을 형성하고 기민한 제어를 가능하게 한다. 초보자 사용자가 약 일시간 이내로 11손가락 피아노 연주를 기능적으로 수행함을 입증하였다.

ABSTRACT

Wearable robotics bring the opportunity to augment human capability and performance, be it through prosthetics, exoskeletons, or supernumerary robotic limbs. The latter concept allows enhancing human performance and assisting them in daily tasks. An important research question is, however, whether the use of such devices can lead to their eventual cognitive embodiment, allowing the user to adapt to them and use them seamlessly as any other limb of their own. This paper describes the creation of a platform to investigate this. Our supernumerary robotic 3rd thumb was created to augment piano playing, allowing a pianist to press piano keys beyond their natural hand-span; thus leading to functional augmentation of their skills and the technical feasibility to play with 11 fingers. The robotic finger employs sensors, motors, and a human interfacing algorithm to control its movement in real-time. A proof of concept validation experiment has been conducted to show the effectiveness of the robotic finger in playing musical pieces on a grand piano, showing that naive users were able to use it for 11 finger play within a few hours.

연구 동기 및 목표

• 초과 로봇 사지가 피아노 연주와 같은 숙련된 운동 과제에 인지적으로 몸통일감을 형성하고 기능적으로 통합될 수 있는지 조사하는 것.
• 사람의 손이 닿지 않는 범위까지 피아노 키를 누를 수 있도록 로봇 엄지를 추가함으로써 피아니스트의 자연스러운 손 범위를 연장하는 것.
• 발 움직임을 사용하여 로봇 손가락의 역학적 특성과 타이밍을 실시간으로 제어하는 저지연 인공지능-로봇 인터페이스를 개발하는 것.
• 힘 조절과 정밀도가 요구되는 복잡한 기민한 과제에 대해 초과 로봇 사지를 사용할 수 있는지의 가능성을 평가하는 것.
• 창의적이고 정밀도가 요구되는 분야에서 로봇 보조 기술의 빠른 학습 가능성과 장기적 사용 가능성을 탐색하는 것.

제안 방법

• SR3T는 사용자의 손목에 부착된 3D 프린팅된 로봇 엄지로, 서보 모터로 구동되며 실시간 피드백을 위한 힘 센서와 인코더를 탑재하고 있다.
• 사용자의 발에 부착된 가속도계를 통해 발의 움직임을 추적하며, 발을 높이는 속도를 로봇 손가락의 키 누름 속도와 힘으로 매핑한다.
• 광학 운동 추적 기술을 통해 손과 손가락의 위치를 캡처하고, 이를 단위 구면에 매핑함으로써 관절 각도와 운동 의도를 추정한다.
• 제어 시스템은 실시간 알고리즘을 사용하여 로봇 손가락의 움직임을 연주자의 손과 발의 입력에 동기화시키며 지연을 최소화한다.
• 데이터 글러브를 사용하여 자연스러운 손 움직임을 추적하고 이를 로봇 손가락의 움직임으로 매핑함으로써 직관적인 조율을 가능하게 한다.
• 성능 평가를 위해 실시간 음향 피드백과 운동 추적 기능을 갖춘 피아노 테스트 세트를 사용하여 시스템을 검증하였다.

실험 결과

연구 질문

• RQ1 초과 로봇 엄지는 숙련된 음악 연주를 위한 기능적 몸통일감을 난이도가 높은 사용자가 얼마나 빨리 습득할 수 있는가?
• RQ2 발 기반 제어가 피아노 연주에서 정밀하고 동적 키 압력 조절을 얼마나 잘 가능하게 하는가?
• RQ3 로봇 엄지를 추가함으로써 피아니스트의 효과적인 손 범위와 도달 범위는 얼마나 증가하는가?
• RQ4 실시간 음악 연주 중 로봇 손가락의 반응 지연 및 정확도는 어느 정도인가?
• RQ5 로봇 사지가 자연스러운 손 움직임이나 음악적 표현에 방해를 끼치지 않고 원활하게 통합될 수 있는가?

주요 결과

• SR3T는 피아니스트의 효과적인 손 범위를 오른쪽으로 최대 3.5도까지 연장하여 범위가 네 개의 음으로 증가한 것으로 평가되었다.
• 초보자 사용자가 약 한 시간의 연습 후 11손가락 피아노 연주를 기능적으로 수행할 수 있었으며, 5손가락에서 6손가락 편법으로의 전환을 이룩하였다.
• 운동 의도에서 행동으로의 평균 지연 시간은 약 85 밀리초로 측정되어 저지연 실시간 제어를 확인하였다.
• 두 시간 동안의 연속 테스트 기간 동안 사용자가 거의 불편함을 느끼지 않아, 우수한 인체공학적 통합이 이루어졌음을 시사하였다.
• 로봇 손가락은 흰키와 검정키 모두에 정확하고 동적 제어가 가능했으며, 빠른 연속 키 누름도 가능했다.
• 초기 학습 단계 이후로 자연스러운 손 움직임에 영향을 주지 않는 것으로 나타나, 원활한 통합이 가능하다는 점을 뒷받침하였다.