[논문 리뷰] From the decoding of cortical activities to the control of a JACO robotic arm: a whole processing chain

Laurent Bougrain, Olivier Rochel외 2명|arXiv (Cornell University)|2012. 12. 01.

EEG and Brain-Computer Interfaces인용 수 8

한 줄 요약

이 논문은 영장류의 운동 피질에서의 피질내 자극 신호를 해독하여 JACO 로봇 팔을 제어하는 완전한 실시간 뇌-기계 인터페이스(BMI) 파이프라인을 제시한다. 신호 처리에 OpenViBE를 사용하고, 커스터마이징된 TCP/IP 클라이언트/서버 프로토콜을 적용하여 예측된 손가락 위치를 로봇 명령어로 변환함으로써 지연을 최소화하였으며, 비례 피드백을 통해 안정적인 클로즈드-루프 제어를 실현하였고, 이는 이전의 VRPN 기반 방법에 비해 모듈성이 향상된 결과를 얻었다.

ABSTRACT

This paper presents a complete processing chain for decoding intracranial data recorded in the cortex of a monkey and replicates the associated movements on a JACO robotic arm by Kinova. We developed specific modules inside the OpenViBE platform in order to build a Brain-Machine Interface able to read the data, compute the position of the robotic finger and send this position to the robotic arm. More pre- cisely, two client/server protocols have been tested to transfer the finger positions: VRPN and a light protocol based on TCP/IP sockets. According to the requested finger position, the server calls the associ- ated functions of an API by Kinova to move the fin- gers properly. Finally, we monitor the gap between the requested and actual fingers positions. This chain can be generalized to any movement of the arm or wrist.

연구 동기 및 목표

• 입원성 신경 신호를 로봇 팔 움직임으로 변환하는 완전한 엔드 투 엔드 처리 체인을 개발하기 위해.
• 특히 로봇 제어에 VRPN 프로토콜을 사용할 경우 발생하는 높은 지연 문제를 해결하기 위해.
• 신경 신호의 스파이크 트레인에서 유도된 손가락 이동 궤적을 기반으로 JACO 로봇 팔을 실시간으로 클로즈드-루프 제어할 수 있도록 하기 위해.
• VRPN 대신 경량의 TCP/IP 소켓 기반 프로토콜을 도입하여 복잡한 중간 소프트웨어 의존도를 줄이고 모듈성을 향상시키기 위해.
• 정밀한 그립 작업을 수행하는 영장류 모델을 통해 시스템을 검증하고, 손목 및 팔 움직임으로의 일반화 가능성을 확보하기 위해.

제안 방법

• 시스템은 영장류의 운동 피질(영역 4)에서 기록된 33개의 코르티코모토뉴론 세포의 뇌내 신호를 처리하기 위해 OpenViBE를 사용하며, 이 신호는 200 kHz에서 500 Hz로 다운샘플링된다.
• 일차 선형 모델은 뉴런의 활성 빈도, 임계값, 동기화 및 레버 위치 변화를 기반으로 손가락 위치 궤적을 예측한다.
• OpenViBE 파이프라인은 목표 손가락 위치를 생성하고 이를 커스터마이징된 TCP/IP 소켓 프로토콜을 통해 C# 기반 서버로 전송한다.
• 서버는 Kinova JACO API(v.3.5)를 사용하여 로봇 손가락에 저수준의 운동 명령어를 내려 실시간 제어를 가능하게 한다.
• 로봇 측에 비례 피드백 제어 시스템을 구현하여 요청된 위치와 실제 위치 사이의 지연을 보정한다.
• 이전의 VRPN 기반 인터페이스를 대체하여 더 단순하고 낮은 지연을 제공하는 TCP/IP 솔루션을 도입함으로써 반응성 향상과 외부 라이브러리 의존도 감소를 달성한다.

실험 결과

연구 질문

• RQ1 실시간 BMI 파이프라인은 입원성 스파이크 트레인을 정밀한 손가락 이동 명령어로 해독하여 로봇 제어에 활용할 수 있는가?
• RQ2 VRPN 프로토콜을 커스터마이징된 TCP/IP 소켓 인터페이스로 대체할 경우 시스템의 지연과 제어 안정성에 어떤 영향을 미치는가?
• RQ3 비례 피드백 제어기가 BMI 시스템에서 전송 지연으로 인한 위치 추적 오차를 어느 정도 완화할 수 있는가?
• RQ4 OpenViBE 플랫폼은 스파이크 트레인과 실시간 로봇 제어 출력과 같은 비표준 데이터 유형을 효과적으로 처리할 수 있는가?
• RQ5 제안된 처리 체인은 손 제어를 넘어 전체 팔과 손목 움직임으로까지 일반화 가능한가?

주요 결과

• TCP/IP 기반 클라이언트/서버 프로토콜은 이전의 VRPN 기반 시스템에 비해 지연을 감소시켜 실시간 반응성 향상을 이뤘다.
• 기존 API를 사용할 경우 요청된 위치와 실제 위치 사이에 수백 밀리초의 심한 지연이 관찰되어 제어 루프에서 진동 현상이 발생했다.
• 로봇 측에 비례 피드백 제어기를 구현함으로써 시스템이 안정화되고 추적 오차가 감소했다.
• 시스템은 신경 데이터에서 유도된 정밀한 그립 운동을 성공적으로 재현하여 JACO 로봇 팔을 이용한 클로즈드-루프 제어의 가능성과 타당성을 입증했다.
• OpenViBE의 모듈러한 설계 덕분에 커스터마이징된 데이터 형식(스파이크 트레인)과 비-VRPN 출력 프로토콜의 통합이 가능했으며, 확장성의 증명이 되었다.
• 전송 지연을 줄일 것으로 기대되는 Kinova API의 신규 버전이 향후 제어 성능 향상에 기여할 것으로 예상된다.