[논문 리뷰] Robot-Wearable Conversation Hand-off for Navigation

Dániel Szabó, Aku Visuri외 2명|arXiv (Cornell University)|2026. 02. 16.

Social Robot Interaction and HRI인용 수 0

한 줄 요약

이 논문은 실내 내비게이션을 돕기 위해 고정형 로봇과 웨어러블 시계 간의 대화 핸드오프를 구현하고 평가하며, 흥미롭지만 성능 향상은 없었고 웨어러블 단독 내비게이션에 강한 선호가 나타남을 보고한다.

ABSTRACT

Navigating large and complex indoor environments, such as universities, airports, and hospitals, can be cognitively demanding and requires attention and effort. While mobile applications provide convenient navigation support, they occupy the user's hands and visual attention, limiting natural interaction. In this paper, we explore conversation hand-off as a method for multi-device indoor navigation, where a Conversational Agent (CA) transitions seamlessly from a stationary social robot to a wearable device. We evaluated robot-only, wearable-only, and robot-to-wearable hand-off in a university campus setting using a within-subjects design with N=24 participants. We find that conversation hand-off is experienced as engaging, even though no performance benefits were observed, and most preferred using the wearable-only system. Our findings suggest that the design of such re-embodied assistants should maintain a shared voice and state across embodiments. We demonstrate how conversational hand-offs can bridge cognitive and physical transitions, enriching human interaction with embodied AI.

연구 동기 및 목표

• 고정형 로봇에서 웨어러블 기기로의 대화 핸드오프가 실내 내비게이션을 지원할 수 있는지 조사한다.
• 대학 캠퍼스 맥락에서 로봇-전용, 웨어러블-전용, 로봇-대-웨어러블 핸드오프 조건 간 사용자 경험 및 내비게이션 성능을 비교한다.
• 공공 장소에서 다중 구현체 AI 대화 핸드오프를 위한 설계 고려사항을 식별한다.
• 공유된 음성/상태를 통해 구현 간 매끄러운 핸드오프를 가능하게 하는 구체적 구현을 시연한다.

제안 방법

• Pepper 로봇과 Apple Watch Ultra 2를 이용한 크로스-디바이스 대화 내비게이션 시스템 구현.
• 음성-음성 파이프라인을 Mimic 3 합성 및 Whisper 인식과 함께 로컬 서버로 조정한다.
• 대화 관리에 Rasa를 활용하되 고정된 임무 지향 대화를 사용한다(자유주제 대화 없음).
• 기기 간 투명성 유지를 위한 확인 절차를 포함한 명시적 핸드오프 트리거를 설계한다.
• 대학 캠퍼스 경로에서 N=24의 피험자 내 연구에서 세 가지 조건(로봇-전용, 웨어러블-전용, 로봇-대-웨어러블 핸드오프)을 평가한다.

실험 결과

연구 질문

• RQ1 RQ1: 고정된 구현체에서 웨어러블 구현체로의 인간-AI 대화 핸드오프가 사용자 경험에 어떤 영향을 미치는가?
• RQ2 RQ2: 핸드오프가 내비게이션 성능에 어떤 영향을 미치는가?
• RQ3 RQ3: 웨어러블과 로봇 구현체 간의 AI 대화 핸드오프에 대한 설계 고려사항은 무엇인가?

주요 결과

Conditions / Routes	Metric	Robot	Wearable	Hand-off
Robot	Mean Task Time (sec)	140.8	157.6	192.5
Robot	Task Time SD (sec)	57.9	79.6	88.2
Robot	Error Rate (%)	62.5%	50.0%	50.0%
Robot	Mean Interactions	2.9	3.7	4.2
Robot	Interaction SD	1.9	1.2	2.1
Routes	Mean Task Time (sec)	173.9	145.8	171.2
Routes	Task Time SD (sec)	79.8	84.1	70.5
Routes	Error Rate (%)	12.5%	75.0%	75.0%
Routes	Mean Interactions	3.3	3.4	4.0
Routes	Interaction SD	2.1	1.6	1.7

• 참여자들은 웨어러블-단독 시스템을 선호했으며(70.8%), 로봇-단독 내비게이션을 선호하는 사람은 없었다.
• 로봇 조건은 웨어러블 및 핸드오프에 비해 정신적 부담과 노력이 더 컸지만, 성능은 모든 조건에서 높게 유지되었다.
• 시스템에 대한 신뢰는 조건 간에 유의미한 차이가 없었으나, 웨어러블 및 핸드오프 조건에서 특정 질문들에 대해 더 중립적이거나 다소 긍정적인 반응을 보였다.
• 작업 완료 시간이나 오류율에는 조건 간 유의한 차이가 없었지만 핸드오프에서 평균 상호작용 수가 다소 더 높았다.
• 핸드오프는 매끄럽게 수행되면 일반적으로 긍정적으로 인식되었고, 움직이는 동안 시계로부터 지시를 받을 수 있다는 점을 참가자들이 높이 평가했다.
• 정성적 피드백은 휴대성, 프라이버시 및 장치 간 안내의 연속성 이점을 강조했으며, 또한 일부 사용성 개선(예: 푸시-투-토크 대 핫워드, 자세한 방향 안내)에 대한 제안이 제시되었다.