[논문 리뷰] Telepresence Interaction by Touching Live Video Images

Yunde Jia, Bin Xu외 5명|arXiv (Cornell University)|2015. 12. 14.

Teleoperation and Haptic Systems참고 문헌 63인용 수 5

한 줄 요약

이 논문은 태블릿의 터치스크린 인터페이스(TIUI)를 사용한 원격 상호작용 프레임워크를 소개한다. 이 시스템을 통해 원격 사용자는 실시간 영상에서 물리적 물체를 터치함으로써 텔레프레SENCE 로봇을 제어하고 실제 세계의 물체와 직접 상호작용할 수 있다. 실시간 영상 피드와 무선 연결을 통해 사용자는 자연스럽고 제스처 기반의 물리적 물체 조작(문 열기, 휠체어 밀기 등)을 가능하게 하며, 일상생활 과제에서 효과적이고 자연스러운 원격 상호작용을 실현한다.

ABSTRACT

This paper presents a telepresence interaction framework based on touchscreen and telepresence-robot technologies. The core of the framework is a new user interface, Touchable live video Image based User Interface, called TIUI. The TIUI allows a remote operator to not just drive the telepresence robot but operate and interact with real objects by touching their live video images on a pad with finger touch gestures. We implemented a telepresence interaction system which is composed of a telepresence robot and tele-interactive objects located in a local space, the TIUI of a pad located in a remote space, and the wireless networks connecting the two spaces. Our system can be a perfect embodiment of a remote operator to do most of daily living tasks, such as opening a door, drawing a curtain, pushing a wheelchair, and other like tasks. The evaluation and demonstration results show the effectiveness and promising applications of our system.

연구 동기 및 목표

• 실시간 영상에서 터치 제스처를 사용해 물리적 물체와 직관적인 원격 상호작용을 가능하게 하기.
• 기존 텔레프레SENCE 시스템이 로봇 주행만 허용하고 직접적인 물체 조작이 불가능한 한계를 해결하기.
• 태블릿에서의 터치 입력을 원격 환경의 텔레프레SENCE 로봇이 수행하는 물리적 동작으로 매핑하는 사용자 인터페이스 개발하기.
• 터치 기반 상호작용이 실생활 과제에서의 실행 가능성과 효과성을 평가하기.

제안 방법

• 시스템은 카메라를 탑재한 텔레프레SENCE 로봇을 사용해 실시간 영상을 원격 태블릿 인터페이스로 스트리밍한다.
• 새로운 터치가 가능한 실시간 영상 이미지 기반 사용자 인터페이스(TIUI)가 태블릿에서의 손가락 터치 제스처를 로봇의 해당 동작으로 매핑한다.
• 터치 제스처(터치, 드래그, 핀치 등)가 실시간으로 로봇의 움직임과 조작에 매핑된다.
• 무선 네트워크를 통해 로봇 카메라에서 온 실시간 영상과 원격 장치에서의 터치 입력이 동기화된다.
• 터치 포인트가 영상 화면 상의 물리적 물체와의 공간적 대응 관계를 추정함으로써 물체 상호작용이 구현된다.
• 실시간 영상 처리와 제스처 인식을 통합하여 저지연, 반응성이 뛰어난 상호작용을 가능하게 한다.

실험 결과

연구 질문

• RQ1 실시간 영상 피드에서의 터치 제스처가 물리적 물체 상호작용을 위한 텔레프레SENCE 로봇의 직관적이고 정밀한 제어를 가능하게 하는가?
• RQ2 기존의 주로 주행 기능만 지원하는 전통적 텔레프레SENCE 인터페이스와 비교해 제안된 TIUI는 사용자 경험을 어떻게 향상시키는가?
• RQ3 실시간 영상과의 터치 기반 상호작용을 통해 원격 조작 과제에서 달성 가능한 정확도와 반응성 수준은 어느 정도인가?
• RQ4 문 열기나 휠체어 이동과 같은 일반적인 일상생활 과제를 효과적으로 지원할 수 있는가?
• RQ5 2차원 터치 입력과 3차원 물리적 환경 사이의 공간 매핑은 어떻게 처리되는가?

주요 결과

• 사용자는 실시간 영상 피드에서의 터치 제스처만으로도 문 열기, 커튼 걷기, 휠체어 밀기 등의 일상생활 과제를 성공적으로 수행할 수 있었다.
• 사용자들은 TIUI 인터페이스를 통해 물체와 상호작용할 때 직관성이 높고 인지 부담이 낮다고 보고했다.
• 시스템은 저지연 응답 시간을 달성하여 터치 기반 상호작용 중 실시간 피드백을 제공했다.
• 시연 결과, 명시적 공간 캘리브레이션 없이도 사용자가 정확한 물체 조작을 수행할 수 있었다.
• 실제 시나리오에서 프레임워크가 효과적으로 작동했으며, 원격 보조 및 텔레프레SENCE 간병 분야에 큰 잠재력을 보였다.