[논문 리뷰] Adaptive Grasp Control through Multi-Modal Interactions for Assistive Prosthetic Devices

Michelle Esponda, Thomas M. Howard|arXiv (Cornell University)|2018. 10. 18.

Muscle activation and electromyography studies참고 문헌 28인용 수 4

한 줄 요약

이 논문은 근전도 신호, 시각, 촉각, 음성 등의 다중 모odal 입력을 통해 사용자 선호도를 학습하는 적응형 인공손 제어 시스템을 제안한다. 이는 실시간으로 잡기 방식을 적응시켜 주며, 터치스크린과 음성 명령을 통한 현장 피드백을 통합함으로써 그립 분류 정확도를 향상시킨다. 120개의 훈련 예제 이후 새로운 바나나 물체에 대해 78%의 확률로 정확한 그립을 예측함으로써, 개인화되고 상호작용적인 학습을 통한 인공손 제어의 가능성을 입증한다.

ABSTRACT

The hand is one of the most complex and important parts of the human body. The dexterity provided by its multiple degrees of freedom enables us to perform many of the tasks of daily living which involve grasping and manipulating objects of interest. Contemporary prosthetic devices for people with transradial amputations or wrist disarticulation vary in complexity, from passive prosthetics to complex devices that are body or electrically driven. One of the important challenges in developing smart prosthetic hands is to create devices which are able to mimic all activities that a person might perform and address the needs of a wide variety of users. The approach explored here is to develop algorithms that permit a device to adapt its behavior to the preferences of the operator through interactions with the wearer. This device uses multiple sensing modalities including muscle activity from a myoelectric armband, visual information from an on-board camera, tactile input through a touchscreen interface, and speech input from an embedded microphone. Presented within this paper are the design, software and controls of a platform used to evaluate this architecture as well as results from experiments deigned to quantify the performance.

연구 동기 및 목표

• 사용자 선호도에 맞게 기기의 적응을 가능하게 하여 개인화된 보철 손 제어의 과제를 해결하기 위해.
• 사용자에게 사전에 매핑된 근육 신호 패tern의 필요성을 최소화하여 인지적 부담을 줄이기 위해 상호작용 기반 학습을 제공하기 위해.
• 다중 모달 감각 피드백을 활용하여 다양한 새로운 물체에 대한 그립 분류 정확도를 향상시키기 위해.
• 지속적인 모델 개선을 위한 촉각 및 음성 피드백을 통합한 실시간 온디바이스 학습 프레임워크를 개발하기 위해.
• 장기적인 맞춤화와 사용성 지원이 가능한 견고하고 사용자 적응형 보철 손 제어 시스템을 구축하기 위해.

제안 방법

• 시스템은 인공손의 전면 근육 활동과 의도한 그립 유형을 추론하기 위해 표면 전기근전도도(EMG)를 사용한다.
• 자신의 카메라에서 온 전면 이미지를 처리하기 위해 합성곱 신경망(CNN)을 사용하여 물체의 형태를 분류하고 적절한 그립 유형을 제안한다.
• 손목에 장착된 터치스크린을 통해 촉각 피드백을 수집함으로써 사용자가 실시간으로 그립 예측을 수정할 수 있도록 한다.
• 손목에 장착된 마이크로부터의 음성 입력을 통해 자연어 수정이 가능하며, 예를 들어 '다른 그립을 시도해'와 같은 명령어를 사용할 수 있다.
• 하이브리드 제어기에서는 EMG 기반 예측과 시각 및 피드백 입력을 통합하여, 새로운 훈련 예제에 기반해 그립 모델을 업데이트하는 신경망을 사용한다.
• 새로 습득한 현장 데이터를 기반으로 오프라인 재학습을 수행하여 시간이 지남에 따라 모델 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 사용자로부터 실시간 다중 모달 피드백을 통해 보철 손 시스템이 그립 선호도를 학습하고 적응할 수 있는가?
• RQ2 촉각 및 음성 피드백을 통합할 경우, EMG 전용 제어에 비해 그립 분류 정확도는 얼마나 향상되는가?
• RQ3 현장 학습을 통해 새로운 또는 낯선 물체에 대해 얼마나 깊이 그립 행동을 개인화할 수 있는가?
• RQ4 사용자 피드백으로부터 추가된 훈련 예제가 다양한 물체 유형 간의 일반화 능력에 어떤 영향을 미치는가?
• RQ5 온보드 다중 모달 상호작용을 통해 사전에 프로그래밍된 매핑 없이도 자가 향상 가능한 보철 제어 시스템을 구현할 수 있는가?

주요 결과

• 초기 훈련 이후, 시스템은 구형(사과), 실린더형(컵), 후크형(가지), 측면 그립(젤라틴 박스) 물체의 그립 유형을 높은 정확도로 정확히 분류하였다.
• 핀치 그립을 위한 주사위는 초기에 오직 10%의 확률로만 정확히 분류되었고, 스푼(삼각형 그립)은 한 번도 정확히 분류되지 않았다.
• 바나나(새로운 물체)에 대해 20개의 훈련 예제를 추가한 후, 시스템은 정확한 삼각형 그립 예측 확률을 0%에서 16%로 높였다.
• 바나나에 대해 120장의 이미지를 수집하고 재학습한 후, 시스템은 정확한 삼각형 그립을 예측할 확률이 78%에 도달하였다.
• 새로운 데이터 추가로 이전에 훈련된 물체의 그립 분류 정확도도 향상되었다: 스푼의 정확한 그립 확률은 0%에서 45%로 상승했고, 주사위는 10%에서 29%로 상승하였다.
• 시스템은 실제 물체에서 6종의 그립 유형(spherical, cylindrical, hook, lateral, pinch, tripod)을 모두 성공적으로 실행하였으며, 그림 10(d)에 나타내었다.