[논문 리뷰] Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking: A Survey

Kuangen Zhang, Clarence W. de Silva외 1명|arXiv (Cornell University)|2019. 03. 18.

Prosthetics and Rehabilitation Robotics참고 문헌 59인용 수 22

한 줄 요약

이 종합 검토는 보조 보행을 위한 인간-의족-환경 동역학의 예측 제어를 위한 센서 융합 프레임워크를 제안한다. 다중 모odal 센서(IMU, EMG, 시각)를 통합하여 의도 인식과 환경 인식 능력을 향상시킨다. 정적 특징과 딥 페처를 온라인 학습과 융합함으로써, 복잡한 환경에서 보행 보조를 위한 강건하고 적응형 제어를 가능하게 한다.

ABSTRACT

This survey paper concerns Sensor Fusion for Predictive Control of Human-Prosthesis-Environment Dynamics in Assistive Walking. The powered lower limb prosthesis can imitate the human limb motion and help amputees to recover the walking ability, but it is still a challenge for amputees to walk in complex environments with the powered prosthesis. Previous researchers mainly focused on the interaction between a human and the prosthesis without considering the environmental information, which can provide an environmental context for human-prosthesis interaction. Therefore, in this review, recent sensor fusion methods for the predictive control of human-prosthesis-environment dynamics in assistive walking are critically surveyed. In that backdrop, several pertinent research issues that need further investigation are presented. In particular, general controllers, comparison of sensors, and complete procedures of sensor fusion methods that are applicable in assistive walking are introduced. Also, possible sensor fusion research for human-prosthesis-environment dynamics is presented.

연구 동기 및 목표

• 기존 보조 제어 방식이 환경적 맥락을 忽시하는 한계를 보완하기 위해 인간-의족-환경 동역학을 통합한다.
• 사용자에 따라 달라지거나 비정상적인 센서 신호(예: EMG, EMG)를 극복하기 위해 강건한 센서 융합 기법을 통해 신뢰할 수 있는 의도 예측을 실현한다.
• 환경 인식과 인간 운동 의도 인식을 융합하여 보행 예측 제어를 가능하게 하고, 끊어진 시각-보행 루프를 복원한다.
• 온라인 데이터셋 업데이트와 적응형 훈련을 통해 고수준 의족 제어기의 장기적 성능을 향상시킨다.
• 센서 융합을 통해 분류와 회귀의 통합을 선진화하여 관절 토크 추정 및 제어의 강건성을 향상시킨다.

제안 방법

• 고수준, 중간 수준, 저수준 제어기를 포함하는 계층적 제어 아키텍처를 활용하며, 고수준 제어기의 센서 융합에 초점을 맞춘다.
• IMU를 통한 운동역학, EMG를 통한 신경근육 의도, 시각을 통한 환경 맥락을 융합 기법을 통해 통합한다.
• 운동역학 모델, 근육- tendon 동역학 등에서 유도된 정적 특징을 추출하여 사용자 및 세션 간 일반화 능력을 향상시킨다.
• 원시 센서 데이터에서 자동으로 깊은 특징을 학습하기 위해 딥 네트워크를 활용하며, 실시간 적용을 위해 복잡도를 제약한다.
• 지연된 인간 활동 인식(IME를 통한)을 활용해 온라인 데이터셋 업데이트를 구현하여 비정상적인 신호(예: EMG)에 대한 지속적인 재학습을 가능하게 한다.
• 운동 프리미티브 분류와 관절 토크 회귀 출력을 센서 융합을 통해 통합함으로써 제어 정확도와 부드러움을 향상시킨다.

실험 결과

연구 질문

• RQ1 개별 센서가 노이즈와 사용자 의존성으로 인해 제한될 때, 센서 융합은 보행 보조를 위한 인간의 보행 의도 예측에 어떻게 기여할 수 있는가?
• RQ2 복잡한 보행 환경에서 센서 융합이 의족 제어의 정확성과 강건성에 기여하는 데 있어 환경 맥락의 역할은 무엇인가?
• RQ3 비정상적인 착용형 신호(예: EMG, MMG)에서 정적 또는 깊은 특징을 어떻게 추출하여 사용자 간 및 시간에 따른 일반화 능력을 향상시킬 수 있는가?
• RQ4 온라인 데이터셋 업데이트 및 재학습이 의족 제어에서 의도 인식 모델의 장기적 성능에 미치는 영향은 무엇인가?
• RQ5 운동 프리미티브 분류와 관절 토크 회귀를 센서 융합을 통해 공동 최적화하여 더 나은 제어 성과를 달성할 수 있는가?

주요 결과

• IMU, EMG, 시각 데이터의 센서 융합은 단일 센서 접근 방식에 비해 인간 운동 의도 인식의 강건성과 정확도를 크게 향상시킨다.
• 운동역학 및 근육- tendon 동역학 모델에서 유도된 정적 특징은 다양한 사용자 및 세션 간 고수준 제어기의 일반화 능력을 향상시킨다.
• 지연된 IMU 기반 활동 인식을 활용한 온라인 데이터셋 업데이트 기법은 EMG와 같은 비정상적인 신호에 대해 지속적인 재학습을 가능하게 하여 높은 정확도를 유지한다.
• 센서 융합을 통해 운동 프리미티브 분류와 관절 토크 회귀를 통합하면 직접 비례 제어보다 더 안정적이고 예측 가능한 제어를 달성할 수 있다.
• 딥 네트워크는 원시 센서 데이터에서 분별성 있는 특징을 효과적으로 학습할 수 있지만, 의족 시스템에서 실시간 적용 가능성을 확보하기 위해 아키텍처적 제약이 필요하다.
• 환경 인식과 인간 의도 인식의 통합은 시각-보행 루프를 복원하며, 이는 복잡한 환경에서의 적응형 주행을 가능하게 한다.