[논문 리뷰] Temporal-Difference Learning to Assist Human Decision Making during the Control of an Artificial Limb

Ann L. Edwards, Alexandra Kearney외 3명|arXiv (Cornell University)|2013. 09. 18.

Muscle activation and electromyography studies참고 문헌 12인용 수 8

한 줄 요약

이 논문은 시간차 학습과 일반가치함수(GVFs)를 사용하여 근전도로 제어되는 로봇 팔에서 사용자가 제어 모드를 전환할 시점을 예측함으로써 기기의 사전 예측 및 최적의 전환 제안을 가능하게 한다. 시스템은 사용자 행동으로부터 실시간으로 학습하며, 예측적 예측을 통해 수동 전환을 줄이고, 자연스러운 상호작용을 통한 보상 없는 사용자 수정을 허용함으로써 보조 보철물의 인간-로봇 제어를 크게 단순화시킨다.

ABSTRACT

In this work we explore the use of reinforcement learning (RL) to help with human decision making, combining state-of-the-art RL algorithms with an application to prosthetics. Managing human-machine interaction is a problem of considerable scope, and the simplification of human-robot interfaces is especially important in the domains of biomedical technology and rehabilitation medicine. For example, amputees who control artificial limbs are often required to quickly switch between a number of control actions or modes of operation in order to operate their devices. We suggest that by learning to anticipate (predict) a user's behaviour, artificial limbs could take on an active role in a human's control decisions so as to reduce the burden on their users. Recently, we showed that RL in the form of general value functions (GVFs) could be used to accurately detect a user's control intent prior to their explicit control choices. In the present work, we explore the use of temporal-difference learning and GVFs to predict when users will switch their control influence between the different motor functions of a robot arm. Experiments were performed using a multi-function robot arm that was controlled by muscle signals from a user's body (similar to conventional artificial limb control). Our approach was able to acquire and maintain forecasts about a user's switching decisions in real time. It also provides an intuitive and reward-free way for users to correct or reinforce the decisions made by the machine learning system. We expect that when a system is certain enough about its predictions, it can begin to take over switching decisions from the user to streamline control and potentially decrease the time and effort needed to complete tasks. This preliminary study therefore suggests a way to naturally integrate human- and machine-based decision making systems.

연구 동기 및 목표

• 제어 중 수동 모드 전환을 최소화함으로써 인공 지부를 사용하는 절단환자의 인지적 및 신체적 부담을 줄이기 위해.
• 명시적인 조치가 취해지기 전에 사용자 제어 의도를 사전에 예측할 수 있는 실시간, 적응형 시스템을 개발하기 위해.
• 기계 학습 예측을 인간-로봇 상호작용에 통합하기 위해 명시적인 인간 강화 또는 보상 신호가 필요로 하지 않기 위해.
• 예측 모델링이 보조 로봇에서 자연스럽고 직관적이며 부분적으로 자율적인 제어를 어떻게 지원할 수 있는지 탐색하기 위해.

제안 방법

• 시스템은 실시간 근전도(EMG) 신호를 기반으로 향후 사용자 제어 결정을 예측하기 위해 일반가치함수(GVFs)를 학습하기 위해 시간차 학습을 활용한다.
• GVFs는 10단계의 시간 수평을 사용하여 모드 전환의 시기와 다음에 작동시킬 관절을 예측하는 데 사용된다.
• 예측은 지속적인 상호작용 동안 점진적으로 업데이트되어 사용자 행동에 실시간으로 적응한다.
• 시스템은 사용자가 주도한 행동을 암시적 피드백으로 사용한다: 기능을 선택하면 예측이 확인되고, 다른 것을 선택하면 그 신뢰도가 감소한다.
• 이 방법은 EMG 활동과 작업 맥락에서 유도된 상태 표현을 사용하여 사용자 의도와 전환 패턴을 모델링한다.
• 명시적인 보상이나 예시가 필요로 하지 않으며, 사용자 행동 자체가 모델 개선을 위한 지도 신호로 기능한다.

실험 결과

연구 질문

• RQ1 시간차 학습과 GVFs를 사용하여 다기능 로봇 팔 제어 시스템에서 사용자 모드 전환 시점을 정확하게 예측할 수 있는가?
• RQ2 EMG 신호와 맥락을 기반으로 사용자가 다음으로 작동시킬 관절을 얼마나 잘 예측할 수 있는가?
• RQ3 명시적인 강화나 예시 없이도 사용자가 자연스럽고 보상 없는 피드백을 제공할 수 있는가?
• RQ4 예측 모델이 인간-로봇 제어에서 인공 지부의 수동 전환 노력에 얼마나 기여하여 줄일 수 있는가?
• RQ5 시스템은 다양한 세션과 사용자 간에 정확한 예측을 유지할 수 있는가?

주요 결과

• 시스템은 실제 사용자 주도 전환 전에 예측이 증가하는 방식으로 실시간으로 사용자 전환 결정을 성공적으로 사전 예측하였다.
• 관절 활동 예측도 향후 작동 전에 증가하여 사용자 의도의 정확한 예측을 나타내었다.
• 시간차 학습을 5회 반복한 후에도 시스템은 새로운 테스트 데이터에 대해 예측 정확도를 유지하였다.
• 사용자 행동은 암시적 피드백으로 기능하였다: 기능을 선택하면 예측이 확인되고, 다른 것을 선택하면 신뢰도가 감소하였다.
• 이 방법은 명시적인 훈련 신호 없이도 사용자가 시스템의 제안을 수정하거나 강화할 수 있는 자연스럽고 보상 없는 방법을 제공하였다.
• 결과는 예측 모델링이 수동 전환의 필요성을 줄이거나 심지어 제거할 수 있음을 시사하며, 과제 완료에 있어 상당한 시간과 노력을 절약할 수 있음을 시사한다.