[논문 리뷰] Concepts for End-to-end Augmented Reality based Human-Robot Interaction Systems

David Puljiz, Björn Hein|arXiv (Cornell University)|2019. 10. 10.

Augmented Reality Applications참고 문헌 16인용 수 4

한 줄 요약

이 논문은 헤드마운티드 디스플레이(HMD)를 사용한 인간-로봇 상호작용을 위한 엔드 투 엔드 증강현실(AR) 프레임워크를 제안한다. 이는 외부 센서 없이도 원활한 로봇 설정, 프로그래밍, 상호작용 및 모방 학습을 가능하게 하며, 공간 매핑, 손 추적, 실시간 기준 설정 기능을 갖춘 HMD(예: 마이크로소프트 홀로렌즈)를 활용하여 안정적인 AR-로봇 정렬과 직관적인 협업을 실현한다. 이는 유연하고 협업 가능한 산업용 로봇의 비전을 발전시킨다.

ABSTRACT

The field of Augmented Reality (AR) based Human Robot Interaction (HRI) has progressed significantly since its inception more than two decades ago. With more advanced devices, particularly head-mounted displays (HMD), freely available programming environments and better connectivity, the possible application space expanded significantly. Here we present concepts and systems currently being developed at our lab to enable a truly end-to-end application of AR in HRI, from setting up the working environment of the robot, through programming and finally interaction with the programmed robot. Relevant papers by other authors will also be overviewed. We demonstrate the use of such technologies with systems not inherently designed to be collaborative, namely industrial manipulators. By trying to make such industrial systems easily-installable, collaborative and interactive, the vision of universal robot co-workers can be pushed one step closer to reality. The main goal of the paper is to provide a short overview of the capabilities of HMD-based HRI to researchers unfamiliar with the concepts. For researchers already using such techniques, the hope is to perhaps introduce some new ideas and to broaden the field of research.

연구 동기 및 목표

• 산업 환경에서의 영구적이고 재구성 가능하며 협업 가능한 로봇 워크셀을 구축하는 데 도전하는 것.
• 복잡한 설정, 고정된 인프라 및 외부 추적 시스템을 필요로 하는 전통적 로봇 셀의 한계를 극복하는 것.
• HMD를 주요 인터페이스로 사용하여 산업용 매니퓰레이터와의 직관적인 AR 기반 프로그래밍 및 상호작용을 가능하게 하는 것.
• AR를 로봇 제어 스택(Robot Operating System, MoveIt!)과 통합하여 실시간이고 공간 인식 기반의 인간-로봇 협업을 지원하는 것.
• HMD 센서 데이터(손 추적, 깊이, 동작)를 활용하여 자연스러운 시연와 스킬 습득을 지원함으로써 모방 학습을 발전시키는 것.

제안 방법

• 자기 위치 추정, 환경 메시 생성, 실시간 손 및 제스처 추적을 가능하게 하여 자연스러운 상호작용을 지원하기 위해 HoloLens를 활용한다.
• 다단계 기반 기준 설정 파이프라인을 구현: 반자동(시드 홀로그램 + ICP/Super4PCS), 자동(기본자 기반 매칭), 지속적(스테레오 비전 기반 추적).
• HMD와 로봇 제어 시스템 간 双방향 통신을 가능하게 하기 위해 ROS와 ROS#를 rosbridge를 통해 통합한다.
• HMD 손 추적과 손목에 부착된 자이로스코프 인식 장치(IMU)의 센서 융합을 통해 드리프트가 발생하더라도 정확한 인간 자세 추정을 유지한다.
• HoloLens의 깊이 및 RGB 데이터를 활용하여 물체의 변형과 접촉력 추정을 수행하고, 모방 학습을 위한 데이터 수집을 지원한다.
• 가상 경로 프로그래밍을 AR 오버레이를 통해 구현하여 사용자가 물리적 작업 공간에서 직접 웨이포인트와 경로를 정의할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 외부 마커 없이도 HMD 기반 AR 시스템이 가상 로봇 모델과 실제 산업용 매니퓰레이터 간에 안정적이고 실시간 기준 설정을 어떻게 달성할 수 있는가?
• RQ2 HMD가 인간-로봇 협업을 위해 외부 추적 시스템을 얼마나 효과적으로 대체할 수 있으며, 이러한 솔루션의 정확도와 신뢰성은 어느 정도인가?
• RQ3 AR 기반 상호작용과 프로그래밍은 산업용 로봇 구현의 설정 시간을 단축시키고 직관성을 향상시킬 수 있는가?
• RQ4 HMD 센서 데이터는 어떻게 활용되어 로봇 매니퓰레이션 작업을 위한 고해상도 모방 학습을 지원할 수 있는가?
• RQ5 HMD 기반 AR의 산업용 인간-로봇 상호작용에서의 주요 고장 원인과 제약 조건은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 시드 홀로그램과 ICP 또는 Super4PCS를 활용한 반자동 기준 설정 방법은 가상 로봇과 실제 로봇 간 정밀한 정렬을 달성했으며, 시각적 및 공간적 일관성으로 검증되었다.
• 기본자 기반 매칭(OUR-CVFH, SHOT 또는 커스터마이징된 기본자)을 사용한 자동 기준 설정 방법은 마커 없는 초기화를 가능하게 했지만, 로봇 유형과 환경에 따라 성능이 다소 차이가 있었다.
• HoloLens 카메라의 스테레오 비전을 활용한 지속적 자동 기준 설정은 HMD 이동 중에도 정렬을 유지하여 사용자 재기준 설정의 필요성을 줄였다.
• HMD 손 추적과 손목에 부착된 IMU의 센서 융합을 통해 안정적이고 드리프트 보정이 가능한 인간 자세 추정이 가능해져 실시간 충돌 방지에 기여했다.
• HMD 기반 AR는 물리적 로봇 워크셀에서 직관적인 현장 프로그래밍과 경로 정의를 가능하게 하여 사용성 향상에 기여했다.
• HMD 센서 데이터(깊이, 동작 등)는 모방 학습을 위한 데이터 수집을 지원하며, 실제 환경에서 인간 시연로부터 엔드 투 엔드 학습이 가능할 잠재력을 지녔다.