[논문 리뷰] Neuromuscular Reinforcement Learning to Actuate Human Limbs through FES

Nat Wannawas, Ali Shafti외 1명|arXiv (Cornell University)|2022. 09. 16.

Muscle activation and electromyography studies인용 수 7

한 줄 요약

이 논문은 비정상적인 근육 반응에도 불구하고 장기간 정밀한 FES 유도 운동을 달성하기 위해 기능적 전기 자극(FES)을 조작하기 위한 신경근육 강화학습(RL) 프레임워크를 제안한다. 비마르코프 근육 역학을 모델링하고 장기적인 안정성 있는 제어를 가능하게 하기 위해 순환신경망(RNN)을 사용한다. 이 방법은 시간이 지남에 따라 성능을 유지하는 데서 전통적인 PID 제어기보다 뛰어나며, 시뮬레이션과 실제 실험 모두에서 더 효과적인 자극 패턴을 생성한다.

ABSTRACT

Functional Electrical Stimulation (FES) is a technique to evoke muscle contraction through low-energy electrical signals. FES can animate paralysed limbs. Yet, an open challenge remains on how to apply FES to achieve desired movements. This challenge is accentuated by the complexities of human bodies and the non-stationarities of the muscles' responses. The former causes difficulties in performing inverse dynamics, and the latter causes control performance to degrade over extended periods of use. Here, we engage the challenge via a data-driven approach. Specifically, we learn to control FES through Reinforcement Learning (RL) which can automatically customise the stimulation for the patients. However, RL typically has Markovian assumptions while FES control systems are non-Markovian because of the non-stationarities. To deal with this problem, we use a recurrent neural network to create Markovian state representations. We cast FES controls into RL problems and train RL agents to control FES in different settings in both simulations and the real world. The results show that our RL controllers can maintain control performances over long periods and have better stimulation characteristics than PID controllers.

연구 동기 및 목표

• 비정상적인 근육 반응에도 불구하고 파리지된 사지에서 정밀하고 장기간 지속되는 FES 유도 운동을 달성하는 데 도전하는 것.
• FES 제어에서 마르코프 RL 가정의 한계를 극복하기 위해 근육 역학의 시간적 의존성을 모델링하는 것.
• 개인의 신경근육 변동성에 적응하는 데이터 기반의 환자 맞춤형 FES 제어 시스템을 개발하는 것.
• 모의 환경과 실제 환경에서 전통적인 PID 제어와 비교하여 RL 제어기의 성능을 평가하는 것.

제안 방법

• 추적 오차와 자극 에너지를 최소화하도록 설계된 보상 함수를 사용하여 FES 제어를 강화학습 문제로 공식화한다.
• 기록된 근육 반응의 역사 의존성을 마르코프 상태 표현으로 압축하기 위해 순환신경망(RNN)을 사용하여 안정적인 RL 학습을 가능하게 한다.
• 심층 RL 에이전트(SAC 또는 PPO 등)를 시뮬레이션된 신경근육 역학에서 훈련하여 최적의 자극 패턴을 학습한다.
• 표면 전극을 사용한 인간 피실험자 설정을 통해 훈련된 정책을 실제 FES 시스템으로 이식한다.
• 실시간 피드백과 적응형 보상 형태 조정을 통합하여 장기간 세션 동안 성능을 유지한다.
• 추적 정확도와 자극 에너지 측면에서 RL 제어기의 성능을 기준 PID 제어기와 비교한다.

실험 결과

연구 질문

• RQ1 비정상적인 근육 반응에도 불구하고 강화학습 에이전트가 원하는 사지 운동을 FES 제어로 학습할 수 있는가?
• RQ2 RNN을 사용함으로써 전통적인 마르코프 강화학습 대비 RL 기반 FES 제어의 안정성과 성능은 어떻게 향상되는가?
• RQ3 임상 적용에서 요구하는 장기간 동안 RL 제어기가 제어 성능을 유지할 수 있는가?
• RQ4 추적 정확도와 자극 에너지 효율성 측면에서 RL 제어기는 PID 제어기와 비교해 어떻게 성능을 냈는가?
• RQ5 RL 정책은 다양한 개인과 신경근육 상태 간에 일반화 가능한가?

주요 결과

• RL 제어기는 장기간에 걸쳐 높은 추적 정확도를 유지하여 근육 피로와 비정상성에 대한 강건성을 입증했다.
• RNN 기반 상태 표현은 비순환 모델 대비 학습 안정성과 성능을 크게 향상시켰다.
• RL 제어기는 추적 성능을 유지하거나 향상시키면서도 PID 기준선 대비 더 낮은 자극 에너지 소비를 달성했다.
• 실제 실험에서 다양한 피실험자 간에 RL 정책이 일반화되었으며, 환자 맞춤형 맞춤화 잠재력을 보였다.
• 다수의 세션에 걸쳐 안정적인 성능을 보여, 임상 적용에 있어 장기적 타당성을 입증했다.