[논문 리뷰] Reinforcement Learning Enabled Automatic Impedance Control of a Robotic Knee Prosthesis to Mimic the Intact Knee Motion in a Co-Adapting Environment

Ruofan Wu, Minhan Li외 4명|arXiv (Cornell University)|2021. 01. 10.

Prosthetics and Rehabilitation Robotics참고 문헌 29인용 수 4

한 줄 요약

이 연구는 보행 중 공존하는 인간-로봇 동역학을 고려해, 로봇 무릎 보조기의 실시간 운동을 건재한 다리의 운동에 자동으로 따라잡을 수 있도록 하는 강화학습(RL) 기반의 온라인 정책 반복 알고리즘을 제시한다. 이 방법은 오픈심 시뮬레이션과 인간 피실험자 모두에서 건재한 다리 운동을 성공적으로 모방하며, 추적 오차를 감소시키고 개인별로 다를 수 있는 보행 적응 패턴을 드러내는 적응형 임피던스 제어를 실현한다.

ABSTRACT

Automatically configuring a robotic prosthesis to fit its user's needs and physical conditions is a great technical challenge and a roadblock to the adoption of the technology. Previously, we have successfully developed reinforcement learning (RL) solutions toward addressing this issue. Yet, our designs were based on using a subjectively prescribed target motion profile for the robotic knee during level ground walking. This is not realistic for different users and for different locomotion tasks. In this study for the first time, we investigated the feasibility of RL enabled automatic configuration of impedance parameter settings for a robotic knee to mimic the intact knee motion in a co-adapting environment. We successfully achieved such tracking control by an online policy iteration. We demonstrated our results in both OpenSim simulations and two able-bodied (AB) subjects.

연구 동기 및 목표

• 임상 환경에서 로봇 무릎 보조기의 임피던스 파라미터 수동 조정 문제를 해결하기 위해.
• 개별 사용자와 동적인 보행 조건에 적응하는 자동화된 데이터 기반의 임피던스 파라미터 설정 방법을 개발하기 위해.
• 실시간으로 측정된 건재한 다리의 운동을 모방하는 것이 보편적으로 생물학적으로 관련된 측정 가능한 제어 목표로 활용될 수 있는지 탐색하기 위해.
• RL 기반 제어 하에서 보조기와 건재한 다리가 보행 중 어떻게 상호 적응하는지 조사하기 위해.
• 실제 인간 시험과 시뮬레이션에서 움직이는 목표(건재한 다리 궤적)를 추적하기 위한 온라인 RL 정책 반복의 실현 가능성과 성능을 평가하기 위해.

제안 방법

• 로봇 무릎 보조기의 임피던스 파라미터를 동적으로 조정하기 위해 온라인 정책 반복 알고리즘을 강화학습(RL) 기반으로 사용한다.
• 보조기의 목표 운동은 보행 중 건재한 다리의 실시간 궤적에서 직접 유도되며, 가상의 제약 조건으로 기능한다.
• RL 에이전트는 시뮬레이션(OpenSim) 및 실제 인간 환경과의 상호작용을 통해 추적 오차 최소화를 최적화하는 제어 정책을 학습한다.
• 건재한 다리 운동에서 특징 추출에는 주요 단계 전환점과 피크/골절 각도를 식별해 목표 궤적을 정의하는 데 사용된다.
• 제어 시스템은 무릎 각도와 시간(지속 기간)의 이탈을 방지하기 위한 보상 함수를 사용하여 전체 보행 사이클의 정확한 추적을 보장한다.
• 초기 정책은 다른 피실험자의 훈련 세션에서 전이되어 수렴 속도를 향상시키지만, 무작위 초기화 역시 초기 시험에서 성공을 거두었다.

실험 결과

연구 질문

• RQ1 강화학습을 통해 로봇 무릎 보조기는 보행 중 건재한 다리의 운동을 자동으로 실시간으로 따라잡기 위해 임피던스 파라미터를 조정할 수 있는가?
• RQ2 보조기가 건재한 다리 궤적을 모방하도록 RL 기반 제어가 적용되었을 때, 건재한 다리와 보조기 사이의 상호 적응은 어떻게 이루어지는가?
• RQ3 건재한 다리의 운동을 모방하는 것이 시뮬레이션과 인간 피실험자 모두에서 보행 대칭성 향상과 추적 오차 감소에 기여하는가?
• RQ4 보조기가 건재한 다리의 운동을 따라잡을 때 개인 간 보행 적응 패턴의 차이는 무엇인가?
• RQ5 RL 기반 제어 시스템은 사전 정의된 또는 주관적인 목표 프로파일에 의존하지 않고도 전체 보행 사이클, 즉 지면 접촉 단계와 휠링 단계를 정확히 추적할 수 있는가?

주요 결과

• RL 기반 제어 시스템은 오픈심 시뮬레이션과 인간 시험 모두에서 추적 오차를 성공적으로 감소시켰으며, 보조기가 보행 사이클 전반에 걸쳐 건재한 다리의 운동을 밀도 있게 모방했다.
• 인간 피실험자들은 뚜렷한 상호 적응을 보였으며, 건재한 다리의 운동이 조정 과정에서 변화했다. AB1은 지면 접촉 단계에서 굴곡이 증가했고, AB2는 감소시켰다. 이는 개인별 전략을 반영한다.
• 건재한 다리가 휠링 단계 동안 완전히 펴지 않은 것은 다리 길이 보정을 위해 높은 신발을 착용했기 때문일 수 있으며, 이는 발끝 착지 기구에 영향을 줄 수 있다.
• 실제 인간 시험에서 시간적 비대칭성(높은 신발로 인한 보행 변화 가능성)이 있었음에도 불구하고, 오픈심 시뮬레이션은 보행 대칭성 향상 잠재력을 뚜렷이 보였다.
• 시스템은 3% 이내의 시간 오차 허용 범위로 추적 성능을 달성해 단계별 오차 누적에도 시스템 불안정성이 발생하지 않았다.
• 초기 결과는 RL 기반 미러 제어가 더 대칭적인 보행 패턴을 지원할 수 있음을 시사하지만, 공간적 및 하중 파라미터에서의 대칭성 향상 여부를 확인하기 위해 암환자 대상 추가 연구가 필요하다.