[논문 리뷰] Using Learned Predictions as Feedback to Improve Control and Communication with an Artificial Limb: Preliminary Findings

Adam S. R. Parker, Ann L. Edwards외 1명|arXiv (Cornell University)|2014. 08. 08.

Muscle activation and electromyography studies참고 문헌 20인용 수 4

한 줄 요약

이 연구는 기계적 하중의 향후 상태를 예측하고 이를 진동 촉각 피드백을 통해 사용자에게 전달함으로써 로봇 사지의 제어를 향상시키는 기계학습 기반 피드백 시스템을 소개한다. 5명의 건강한 피험자들을 대상으로 한 실험에서 예측 피드백은 반응형 피드백보다 유의미하게 뛰어나며 충격 수를 감소시키고 작업 정밀도를 향상시켰다. 이는 학습된 예측이 보철물의 제어 및 사용자-장치 간 소통을 향상시킨다는 것을 보여준다.

ABSTRACT

Many people suffer from the loss of a limb. Learning to get by without an arm or hand can be very challenging, and existing prostheses do not yet fulfil the needs of individuals with amputations. One promising solution is to provide greater communication between a prosthesis and its user. Towards this end, we present a simple machine learning interface to supplement the control of a robotic limb with feedback to the user about what the limb will be experiencing in the near future. A real-time prediction learner was implemented to predict impact-related electrical load experienced by a robot limb; the learning system's predictions were then communicated to the device's user to aid in their interactions with a workspace. We tested this system with five able-bodied subjects. Each subject manipulated the robot arm while receiving different forms of vibrotactile feedback regarding the arm's contact with its workspace. Our trials showed that communicable predictions could be learned quickly during human control of the robot arm. Using these predictions as a basis for feedback led to a statistically significant improvement in task performance when compared to purely reactive feedback from the device. Our study therefore contributes initial evidence that prediction learning and machine intelligence can benefit not just control, but also feedback from an artificial limb. We expect that a greater level of acceptance and ownership can be achieved if the prosthesis itself takes an active role in transmitting learned knowledge about its state and its situation of use.

연구 동기 및 목표

• 현재 인공 사지에서 효과적인 피드백과 제어가 부족한 점, 특히 본질적인 체감각과 예측 정보의 부재를 해결하기 위해.
• 기계학습이 보철물의 향후 기계적 상태를 예측함으로써 피드백을 향상시킬 수 있는지 탐색하기 위해.
• 기기 내부 상태에서 유도된 예측 정보를 사용자에게 전달하여 사용자 제어력과 수용도를 향상시키기 위해.
• 예측 피드백이 순수하게 반응형 피드백과 비교할 때 사용자 오류를 줄이고 작업 성능을 향상시키는지 조사하기 위해.
• 인공지능을 제어를 넘어 지능적인 피드백 제공에도 활용할 수 있음을 기반으로 하는 증거를 마련하기 위해.

제안 방법

• 로봇 사지가 작업 환경과 상호작용하는 동안 영향 관련 전기적 하중을 실시간으로 예측하기 위해 실시간 온라인 학습 알고리즘을 사용하였다.
• 현재 및 과거 센서 데이터를 기반으로 예측 학습 기법을 활용해 향후 하중 값을 예측하였다.
• 예측된 하중 값은 사용자의 전완부에 부착된 착용형 슬리브를 통해 진동 촉각 피드백 패턴으로 변환되어 전달되었다.
• 피드백은 실시간으로 제공되어 사용자가 물리적 충격 발생 이전에 향후 접촉을 사전에 인지할 수 있도록 하였다.
• 다양한 피드백 방식을 비교하였다: 피드백 없음, 순수 반응형 피드백(즉각적 하중), 예측 피드백(학습된 예측).
• 학습 알고리즘은 사용자 상호작용 중에 훈련되어 사용자 행동과 환경 상호작용의 변화에 따라 동적으로 적응하였다.

실험 결과

연구 질문

• RQ1 기계학습을 통한 향후 기계적 하중 예측이 로봇 사지 제어 성능 향상에 기여하는가?
• RQ2 예측 피드백은 순수 반응형 피드백과 비교할 때 작업 정확도 향상과 충격 감소 측면에서 어떻게 다를까?
• RQ3 사용자가 학습된 예측을 비생물학적 체감각 피드백 형태로 효과적으로 이해하고 활용할 수 있는가?
• RQ4 예측 피드백 사용이 사용자 제어 정밀도 향상과 사지에 가해지는 물리적 충격 감소에 기여하는가?
• RQ5 기계지능이 피드백 커뮤니케이션 수준을 얼마나 향상시켜 인공 사지의 사용자 통합을 개선할 수 있는가?

주요 결과

• 예측 피드백을 사용할 경우 반응형 피드백 대비 로봇 사지가 겪는 충격 수가 유의미하게 감소하였다.
• 예측 피드백을 받은 경우 작업 정확도가 높아졌으며, 반응형 피드백 조건에 비해 통계적으로 유의미한 향상이 있었다.
• 예측 피드백 시스템은 다른 감각 피드백이 없을 때조차도 사용자가 사지를 더 정밀하게 위치시킬 수 있도록 하였다.
• 실시간이고 점진적인 학습을 통해 사용자 제어 중에도 신뢰할 수 있는 하중 예측이 가능하다는 것이 입증되었다.
• 결과적으로 예측 피드백은 사용자에게 사지의 향후 상태에 대한 인식을 향상시켜 제어 성능 향상과 반응적 신호 의존도 감소에 기여한다.
• 이 연구는 인공지능이 제어 외에도 보철물의 피드백 향상에 활용될 수 있다는 첫 번째 경험적 증거를 제공한다.