[논문 리뷰] Autonomy Infused Teleoperation with Application to BCI Manipulation

Katharina Muelling, Arun Venkatraman외 8명|arXiv (Cornell University)|2015. 03. 18.

EEG and Brain-Computer Interfaces참고 문헌 41인용 수 18

한 줄 요약

이 논문은 뇌-computer 인터페이스(BCI) 기반의 로봇 조작을 향상시키기 위해 컴퓨터 비전, 사용자 의도 추론, 인간 입력과 자율 제어 간의 적응형 조정을 통합한 공유 제어 원격 조작 프레임워크를 제안한다. 캡처 엔벨롭(포괄 영역)을 사용한 抓握 추론과 조절 가능한 보조 수준을 통해, 고정밀도, 혼잡한 환경, 그리고 새로운 물체가 있는 상황에서 BCI 사용자의 작업 성공률을 크게 향상시키고 사용자 노력도 감소시킨다.

ABSTRACT

Robot teleoperation systems face a common set of challenges including latency, low-dimensional user commands, and asymmetric control inputs. User control with Brain-Computer Interfaces (BCIs) exacerbates these problems through especially noisy and erratic low-dimensional motion commands due to the difficulty in decoding neural activity. We introduce a general framework to address these challenges through a combination of computer vision, user intent inference, and arbitration between the human input and autonomous control schemes. Adjustable levels of assistance allow the system to balance the operator's capabilities and feelings of comfort and control while compensating for a task's difficulty. We present experimental results demonstrating significant performance improvement using the shared-control assistance framework on adapted rehabilitation benchmarks with two subjects implanted with intracortical brain-computer interfaces controlling a seven degree-of-freedom robotic manipulator as a prosthetic. Our results further indicate that shared assistance mitigates perceived user difficulty and even enables successful performance on previously infeasible tasks. We showcase the extensibility of our architecture with applications to quality-of-life tasks such as opening a door, pouring liquids from containers, and manipulation with novel objects in densely cluttered environments.

연구 동기 및 목표

• BCI 제어 로봇 조작에서 저대역폭, 노이즈가 많고 비정상적인 신경 명령의 문제를 해결하기 위해.
• 고정밀 원격 조작 작업에서 사용자 부담과 작업 난이도 인식을 줄이기 위해.
• 지능적인 자율성 통합을 통해 이전에는 불가능했던 작업을 성공적으로 수행할 수 있도록 하기 위해.
• 액체 따르기, 문 열기와 같은 실제 생활의 품질 향상 작업에까지 시스템의 적용 범위를 확장하기 위해.
• 사전 모델 지식 없이도 새로운 물체 조작을 지원할 수 있는 유연하고 확장 가능한 아키텍처를 개발하기 위해.

제안 방법

• 시스템은 3D 모델 라이브러리를 사용하여 실시간으로 물체를 인식하고 국소화하기 위해 깊이 영상 템플릿 매칭에 RANSAC 및 ICP를 적용한다.
• 사용자 운동 명령의 저차원성에 기반해 연속적이고 부드러운 抓握 의도 추론을 가능하게 하는 '캡처 엔벨롭'—물체 및 잡는 방식에 따라 달라지는 동적 영역의 관심 영역—을 도입한다.
• 운동 경로와 환경적 맥락을 기반으로 가장 가능성 있는 목표를 추정하기 위해 최대 엔트로피 공식을 사용해 사용자 의도를 추론한다.
• 조절 가능한 보조 수준을 활용해 인간-로봇 조정 모듈이 사용자 명령과 자율적 운동 계획을 혼합함으로써 제어력과 편안함의 균형을 이룬다.
• 손목에 장착된 힘-토크 센서를 사용한 관절 정지 감지 및 잴리안 전치 제어를 통해 유연한 제어를 구현함으로써 안전한 환경 상호작용을 가능하게 한다.
• 모델 기반의 인식과 그립 포인트 탐지 없이도 새로운 물체에 대한 적용을 확장하기 위해 슈퍼바oxel 분할과 단순화된 손 모델의 정방향 시뮬레이션을 사용하여 타당한 그립 포인트를 탐지한다.

실험 결과

연구 질문

• RQ1 공유 제어 프레임워크는 BCI 제어 로봇 조작에서 작업 성능을 향상시키고 사용자 노력을 줄일 수 있는가?
• RQ2 조절 가능한 보조 수준은 사용자의 제어감과 작업 난이도 인식에 어떤 영향을 미치는가?
• RQ3 낮은 차원의 BCI 입력만으로도 액체 따르기나 문 열기와 같은 복잡한 실제 작업을 성공적으로 처리할 수 있는가?
• RQ4 사전에 3D 모델이 없는 새로운 물체에 대해 시스템이 어느 정도 일반화될 수 있는가?
• RQ5 컴퓨터 비전과 의도 추론을 통합함으로써 혼잡하고 동적인 환경에서 BCI 원격 조작의 강건성을 어느 정도 향상시킬 수 있는가?

주요 결과

• 공유 제어 프레임워크는 두 명의 체내 BCI 사용자가 이전에 직접 원격 조작로는 불가능했던 작업을 성공적으로 수행할 수 있도록 했다.
• 액체 따르기 작업에서 10회의 시행 전부에서 100% 성공률를 기록했으며, 실패한 경우는 오직 한 번뿐이었고, 그 경우에도 물체를 테이블로 되돌리는 데 실패했다.
• 시스템은 사용자 난이도를 크게 감소시켜 주제들이 더 낮은 인지 부담으로 고정밀 작업을 수행할 수 있도록 했다.
• 고정 임계값 방법에 비해 캡처 엔벨롭의 사용이 그립 추론 정확도와 부드러움을 향상시켰다.
• 모델 기반의 인식 없이도 혼잡한 환경에서 새로운 물체에 대해 성공적으로 적용되었으며, 운동 제어기로 검증된 개념 증명으로서의 성공을 거두었다.
• BCI 입력에 자율 보조 기능을 통합함으로써, 문 열기나 액체 따르기와 같은 복잡한 실제 시나리오에서도 신뢰할 수 있는 조작이 가능해졌다.