[논문 리뷰] Communicating Inferred Goals with Passive Augmented Reality and Active Haptic Feedback

James F. Mullen, Josh Mosier외 4명|arXiv (Cornell University)|2021. 09. 03.

Robot Manipulation and Learning참고 문헌 33인용 수 34

한 줄 요약

이 논문은 공유 자율 작업 동안 인간-로봇 교육을 향상시키기 위해 수동 증강현실(AR)과 능동적 촉각 패드를 결합한 다중모달 인터페이스를 제안한다. 로봇이 유추한 목표를 수동적으로 AR로 시각화하고, 불확실성이 존재할 경우 촉각 피드백을 통해 사용자를 능동적으로 유도함으로써, 상호작용 시간을 단축하고 교육 효율성을 높인다. 사용자 연구에서 단일 모달 기반 시스템에 비해 우수한 성능을 보였다.

ABSTRACT

Robots learn as they interact with humans. Consider a human teleoperating an assistive robot arm: as the human guides and corrects the arm's motion, the robot gathers information about the human's desired task. But how does the human know what their robot has inferred? Today's approaches often focus on conveying intent: for instance, upon legible motions or gestures to indicate what the robot is planning. However, closing the loop on robot inference requires more than just revealing the robot's current policy: the robot should also display the alternatives it thinks are likely, and prompt the human teacher when additional guidance is necessary. In this paper we propose a multimodal approach for communicating robot inference that combines both passive and active feedback. Specifically, we leverage information-rich augmented reality to passively visualize what the robot has inferred, and attention-grabbing haptic wristbands to actively prompt and direct the human's teaching. We apply our system to shared autonomy tasks where the robot must infer the human's goal in real-time. Within this context, we integrate passive and active modalities into a single algorithmic framework that determines when and which type of feedback to provide. Combining both passive and active feedback experimentally outperforms single modality baselines; during an in-person user study, we demonstrate that our integrated approach increases how efficiently humans teach the robot while simultaneously decreasing the amount of time humans spend interacting with the robot. Videos here: https://youtu.be/swq_u4iIP-g

연구 동기 및 목표

• 로봇 학습 시스템에서 인간이 로봇이 자신의 목표에 대해 유추한 바를 파악할 수 없어 피드백이 부족한 문제를 해결한다.
• 다중모달 피드백을 통해 인간-로봇 협업을 향상시키며, 의도뿐만 아니라 로봇의 추론까지 피드백 루프를 닫는다.
• 수동적 AR 시각화와 능동적 촉각 유도를 결합하여 인간 모니터링 시간을 단축하고 교육 효율성을 높인다.
• 로봇의 자신감과 작업 맥락에 따라 수동 및 능동적 피드백 간 동적으로 전환할 수 있는 의사결정 프레임워크를 개발한다.

제안 방법

• 로봇의 운동 중에 다수의 가능성이 있는 목표 상태(예: 선반 위치)를 수동적으로 시각화하기 위해 Microsoft HoloLens를 활용한다.
• 로봇이 불확실성이 있고 인간의 입력이 필요할 경우, 주목을 끄는 능동적 촉각 피드백을 제공하기 위해 착용형 촉각 패드를 사용한다.
• 로봇의 믿음 신뢰도에 기반해 언제 AR 시각화를 표시할지, 언제 촉각 경고를 트리거할지 결정하는 하이브리드 피드백 알고리즘을 적용한다.
• 공유 자율 작업 환경에서 인간의 원격 제어 수정을 통해 이산적 목표를 유추하는 데서, 두 모odal을 통합한 유일한 프레임워크를 구현한다.
• 불확실성과 교육적 가치를 기반으로 피드백 우선순위를 정하는 의사결정 규칙을 설계하여 가장 정보적인 인간 입력 방향을 유도한다.
• 실시간 교육 작업을 대상으로 AR-단독, 촉각-단독, GUI-단독, AR+촉각 다중모달 피드백 간 비교를 위한 내부 설계 사용자 연구를 수행한다.

실험 결과

연구 질문

• RQ1 수동적 AR와 능동적 촉각 피드백을 통합할 경우, 단일 모달 피드백에 비해 교육 효율성에 어떤 영향을 미치는가?
• RQ2 다중모달 피드백은 인간이 로봇을 모니터링하는 데 소요되는 시간을 줄일 수 있는가?
• RQ3 수동적 및 능동적 피드백의 통합은 사용자가 로봇이 알고 있는 것과 모르는 것을 이해하는 데 도움이 되는가?
• RQ4 다양한 피드백 모달 간에서 사용자가 의도의 명확성, 피드백 시점의 적절성, 교육 가이던스의 질을 어떻게 평가하는가?
• RQ5 AR 하드웨어에 대한 사용자의 불편감이 다중모달 피드백 시스템에서 성능과 선호도에 어떤 영향을 미치는가?

주요 결과

• AR+촉각 다중모달 시스템은 모든 단일 모달 기반 시스템에 비해 상호작용 시간을 유의미하게 단축하고 교육 효율성을 높였다(p < .01).
• 촉각 피드백을 사용할 경우 참가자들이 분산 작업에서 통계적으로 유의미하게 높은 점수를 받았으며, 이는 모니터링 시간 감소와 더 나은 작업 전환 능력을 시사한다(p < .01).
• 수동적 AR 시각화에도 불구하고, GUI나 촉각 조건과 비교해 상호작용 시간에 유의미한 감소 효과가 없었다(p = .55 및 p = .93), 이는 AR만으로는 사용자 참여를 줄이는 데 부족함을 시사한다.
• 사용자들은 AR+촉각 조건을 더 선호했으며, 의도의 명확성 향상, 언제 교육을 해야 할지에 대한 인식 향상, 로봇이 알고 있는지 모르는지를 명확히 인식할 수 있었기 때문이라고 언급했다.
• 주관적 평가에서 AR+촉각은 의도 명확성, 피드백 시점 인지, 교육 가이던스, 지식 투명성, 전체 선호도의 다섯 가지 척도에서 모든 항목에서 우수한 평가를 받았으며, 모든 차이가 통계적으로 유의미했다(p < .05).
• HoloLens 기기 사용 시 불편감이 AR 성능에 악영향을 미칠 수 있었으며, 이는 유사한 시스템에서 GUI 기반 시각 피드백이 AR의 타당한 대안이 될 수 있음을 시사한다.