[논문 리뷰] Explainable OOHRI: Communicating Robot Capabilities and Limitations as Augmented Reality Affordances

Lauren W. Wang, Mohamed Kari외 1명|arXiv (Cornell University)|2026. 01. 21.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

본 연구는 로봇 동작 가능성과 제약을 시각 신호를 통해 전달하는 AR 인터페이스인 X-OOHRI를 소개하며, 혼합 주도적 상호작용과 정신적 모델 형성을 가능하게 한다. 사용자 연구가 그 효과를 검증한다.

ABSTRACT

Human interaction is essential for issuing personalized instructions and assisting robots when failure is likely. However, robots remain largely black boxes, offering users little insight into their evolving capabilities and limitations. To address this gap, we present explainable object-oriented HRI (X-OOHRI), an augmented reality (AR) interface that conveys robot action possibilities and constraints through visual signifiers, radial menus, color coding, and explanation tags. Our system encodes object properties and robot limits into object-oriented structures using a vision-language model, allowing explanation generation on the fly and direct manipulation of virtual twins spatially aligned within a simulated environment. We integrate the end-to-end pipeline with a physical robot and showcase diverse use cases ranging from low-level pick-and-place to high-level instructions. Finally, we evaluate X-OOHRI through a user study and find that participants effectively issue object-oriented commands, develop accurate mental models of robot limitations, and engage in mixed-initiative resolution.

연구 동기 및 목표

• 사람-로봇 협업에서 로봇의 투명한 능력과 한계의 필요성을 제시한다.
• 객체 수준의 로봇 동작 가능성과 제약을 전달하는 확장현실(AR) 인터페이스를 제안한다.
• 실제 환경 또는 시뮬레이션 환경에서 가상 로봇 트윈의 실시간 설명 생성 및 공간 조작을 가능하게 한다.

제안 방법

• 비전-언어 모델을 사용하여 객체 속성과 로봇 한계를 객체 지향 표현으로 인코딩한다.
• 필요할 때 설명을 생성하고 AR 어포던스(시각 표지, 방사형 메뉴, 색상 인코딩, 설명 태그)로 제시한다.
• 물리 로봇과 시뮬레이션 환경과의 엔드-투-엔드 파이프라인을 통합하여 가상 트윈의 공간 정렬을 수행한다.
• 동일한 프레임워크를 통해 저수준 조작부터 고수준 명령에 이르기까지 다양한 작업을 지원한다.

실험 결과

연구 질문

• RQ1 AR 어포던스가 실시간으로 사용자가 로봇의 능력과 한계를 전달하는 방법은 무엇인가?
• RQ2 객체 지향적이고 설명 가능한 HRI가 로봇 동작에 대한 정확한 정신적 모델을 지원하는가?
• RQ3 사용자가 객체 지향 명령을 효과적으로 내리고 혼합 주도적 해결에 참여할 수 있는가?

주요 결과

• 참여자들은 X-OOHRI 인터페이스를 사용하여 객체 지향 명령을 효과적으로 내렸다.
• 사용자들은 로봇의 한계에 대한 정확한 정신적 모델을 형성했다.
• 이 인터페이스는 인간과 로봇이 협력하여 과제를 해결하는 혼합 주도 문제 해결을 지원했다.