[논문 리뷰] The Helping Hand: An Assistive Manipulation Framework Using Augmented Reality and a Tongue-Drive Interfaces

Fu-Jen Chu, Ruinian Xu외 3명|arXiv (Cornell University)|2018. 02. 01.

Gaze Tracking and Assistive Technology참고 문헌 26인용 수 4

한 줄 요약

이 논문은 고도의 마비를 가진 환자를 위한 손이 자유로운 제어를 가능하게 하는 인간-지능 통합 보조 조작 프레임워크를 제안한다. 증강현실(AR) 안경과 혀 운동 시스템(TDS)을 통합하여 7-DOF 로봇 팔을 제어한다. AR을 통해 동적 메뉴를 표시하고 TDS를 통해 의도를 선택함으로써 사용자의 인지 부담을 감소시키며, 10종의 다양한 물체에 대해 평균 18.3초(취급), 32.7초(취급 및 이동)의 평균 작업 완료 시간, 78%의 성공률을 달성하여 카르테시안 제어 및 최신 기술 대비 빠른 속도와 확장성에서 뛰어난 성능을 보였다.

ABSTRACT

A human-in-the-loop system is proposed to enable collaborative manipulation tasks for person with physical disabilities. Studies show that the cognitive burden of subject reduces with increased autonomy of assistive system. Our framework obtains high-level intent from the user to specify manipulation tasks. The system processes sensor input to interpret the user's environment. Augmented reality glasses provide ego-centric visual feedback of the interpretation and summarize robot affordances on a menu. A tongue drive system serves as the input modality for triggering a robotic arm to execute the tasks. Assistance experiments compare the system to Cartesian control and to state-of-the-art approaches. Our system achieves competitive results with faster completion time by simplifying manipulation tasks.

연구 동기 및 목표

• 고도의 마비를 가진 환자들이 보조 로봇 팔을 제어할 때 인지 부담을 줄이기 위해.
• 의도 선택을 위한 혀 운동 시스템(TDS)을 활용해 손이 자유로운, 직관적인 로봇 팔 제어를 가능하게 하기 위해.
• 사용자 중심의 증강현실(AR) 피드백을 통해 실행 가능한 로봇 기능을 표시함으로써 사용자 상호작용을 향상시키기 위해.
• 저수준의 조작 계획을 자동화함으로써 작업 효율성을 높이고 고수준에서 사용자의 의도를 유지하기 위해.
• 카르테시안 제어 및 기존의 보조 시스템 대비 속도와 확장성 측면에서 뛰어난 성능을 입증하기 위해.

제안 방법

• AR 안경에 내장된 RGB-D 카메라가 실시간 장면 데이터를 캡처하여 물체 검출 및 3차원 경계 상자 생성을 수행한다.
• 컴퓨터 비전 알고리즘을 통해 조작 가능한 물체를 감지하고 그라스 포즈를 추정하며, 이를 AR 인터페이스의 가상 메뉴로 매핑한다.
• 혀 운동 시스템(TDS)은 혀의 움직임을 이산 명령으로 변환하여 AR 메뉴에서 작업를 선택한다.
• 검출된 물체 위치와 그라스 구성에 기반한 사전 계획된 경로를 사용하여 7-DOF 로봇 팔이 선택된 작업을 자동으로 수행한다.
• 현대적인 로봇 계획 및 비전 기술을 통합하여 최소한의 사용자 입력으로 실시간이고 맥락 인식 가능한 조작을 가능하게 한다.
• AR 인터페이스는 지속적인 사용자 중심의 시각 피드백을 제공하여 외부 모니터 의존도를 줄이고 사용자 집중도를 향상시킨다.

실험 결과

연구 질문

• RQ1 TDS 기반 인터페이스는 고도의 마비를 가진 환자들이 보조 로봇 팔을 제어할 때 인지 부담을 줄일 수 있는가?
• RQ2 AR 기반 시각 피드백은 보조 조작에서 작업 성과와 사용자 참여도를 어떻게 향상시키는가?
• RQ3 고수준의 의도 선택과 저수준 제어 간의 작업 완료 시간과 성공률 사이의 상충 관계는 어떠한가?
• RQ4 카르테시안 제어 및 최신 보조 시스템과 비교해 본다면, 제안된 시스템은 속도와 확장성 측면에서 어떻게 비교되는가?
• RQ5 비전 기반 물체 검출과 자율 경로 계획 통합이 사용자 명령 수를 크게 줄일 수 있는가?

주요 결과

• 10종의 다양한 물체에 대해 취급 작업의 성공률은 78%, 취급 및 이동 작업의 성공률는 76%를 기록하였으며, 평균 작업 완료 시간은 취급 시 18.3초, 취급 및 이동 시 32.7초였다.
• 수동적 카르테시안 제어 대비 작업 완료 시간이 5배 빠르게 나타났으며, 이는 96%의 성공률를 기록했지만 상당히 오랜 시간이 소요되었다.
• 사용자 명령 수는 평균 9.4회로 감소하여 저수준 제어 대비 인지 부담이 크게 감소한 것으로 나타났다.
• 이전의 EEG나 눈동자 제어 기반 연구와 비교해 본 결과, 유사한 연구(3개 물체 기준)에서 92초 대비 32.7초로 훨씬 더 빠른 작업 시간을 기록했으며, 성공률는 유사하거나 더 높았다.
• 성공률는 略로 낮지만, [9]번 연구 대비 취급 작업에서 18.11초 대비 70.1초로 빠른 속도와 더불어 더 넓은 물체 다양성에서도 뛰어난 성능을 보였다.
• AR와 TDS의 통합은 사용자 집중도 향상과 외부 감시 필요성 감소를 유도하는 원활한 손이 자유로운 작동을 가능하게 하였다.