[논문 리뷰] SENSAR: A Visual Tool for Intelligent Robots for Collaborative Human-Robot Interaction

Andre Cleaver, Faizan Muhammad외 3명|arXiv (Cornell University)|2020. 11. 09.

Social Robot Interaction and HRI인용 수 5

한 줄 요약

SENSAR는 Microsoft HoloLens나 스마트폰과 같은 AR 기기들을 사용하여 지능형 로봇이 실제 환경에서 감각 데이터, 인지 상태 및 주행 계획을 실시간으로 시각화할 수 있도록 해주는 오픈소스 증강현실(AR) 시스템입니다. 장애물 지도, 계획된 경로, 전환 신호와 같은 로봇의 인지 정보를 물리적 공간 위에 직접 렌더링함으로써 SENSAR는 인간이 로봇 행동을 이해하는 데 도움을 주고 디버깅을 향상시키며, 로봇 교육을 지원하고 인간-로봇 협업에서 공동의 상황 인식을 촉진합니다.

ABSTRACT

Establishing common ground between an intelligent robot and a human requires communication of the robot's intention, behavior, and knowledge to the human to build trust and assure safety in a shared environment. This paper introduces SENSAR (Seeing Everything iN Situ with Augmented Reality), an augmented reality robotic system that enables robots to communicate their sensory and cognitive data in context over the real-world with rendered graphics, allowing a user to understand, correct, and validate the robot's perception of the world. Our system aims to support human-robot interaction research by establishing common ground where the perceptions of the human and the robot align.

연구 동기 및 목표

• 로봇의 인지 및 의사결정 과정이 투명하지 않아 인간과 로봇 간의 오해가 발생하는 문제를 해결하기 위해.
• 로봇의 감각 및 인지 데이터를 인간 협업자들이 이해할 수 있도록 함으로써 공유 환경에서 신뢰성과 안전성을 향상시키기 위해.
• 외부 추적 장치나 클라우드 서비스 없이도 작동하는 모듈형이며 기기 종속적이지 않은 AR 시스템을 개발하기 위해.
• 로봇의 인지 정보를 실시간으로 검증하고 수정할 수 있도록 하여 인간-로봇 상호작용(HRI) 연구를 지원하기 위해.
• 직관적이고 맥락 인식 가능한 시각 피드백을 통해 로봇 교육 및 시스템 디버깅에 적용 가능한 가능성을 탐색하기 위해.

제안 방법

• 시스템은 터틀봇2 로봇으로부터 라이다, 깊이 카메라, 경로 계획 출력 등의 센서 데이터를 수집하고 처리하기 위해 ROS(Robot Operating System)를 사용합니다.
• 원시 센서 데이터는 필터링(예: 다운샘플링)을 거친 후, 커스텀 파이썬 및 C++ 스크립트를 통해 시각적 프리미티브(예: 색상 표시, 3D 점군)로 변환됩니다.
• 유니티와 뷰포어를 사용하여 로봇의 자세를 타겟 이미지 기반으로 추적하고, 실시간으로 시각화를 물리적 공간에 오버랩하여 HoloLens, 스마트폰 또는 태블릿에서 AR 렌더링을 구현합니다.
• 비용 지도(장애물은 빨간색, 자유 공간은 초록색), 경로 궤적(노란색 마커), 전환 신호(박자 치는 방향 화살표)와 같은 데이터 유형이 실제 세계와 공간적으로 정렬되어 렌더링됩니다.
• 로봇에서 AR 기기로 데이터를 전송하기 위해 ROSBridge를 활용하여 JSON 형식으로 저지연, 기기 종속적이지 않은 통신을 구현합니다.
• 프레임워크는 모듈형이며 확장 가능하여, 어떤 ROS 기반 로봇과 추가 센서(예: 초음파, 색상 센서)에도 통합 가능합니다.

실험 결과

연구 질문

• RQ1 로봇의 인지 및 감각 정보를 AR 기반으로 시각화하면 인간이 공동 환경에서 로봇 행동을 이해하는 데 도움이 될 수 있는가?
• RQ2 AR에서 경로 계획 및 장애물 탐지 정보를 시각화하면 인간이 로봇의 주행 중 의도를 이해하는 데 어떤 영향을 미치는가?
• RQ3 실시간 시각 피드백을 통해 사용자가 센서 고장(예: 고장난 라이다)을 식별할 수 있도록 SENSAR가 디버깅을 향상시킬 수 있는가?
• RQ4 SENSAR는 K-12 학생과 같은 비전문가 사용자를 대상으로 한 로봇 교육 도구로서 얼마나 효과적인가?
• RQ5 AR를 통한 인지 정보 공유가 인간-로봇 팀 간 협업과 공동의 상황 인식 향상에 어떤 영향을 미치는가?

주요 결과

• SENSAR는 라이다 기반의 장애물 탐지(빨간 마커)와 자유 공간(초록 마커)을 성공적으로 시각화하여 사용자가 기능 정상 또는 고장난 센서를 구분할 수 있도록 했습니다.
• 테스트 케이스에서 벽에 접근할 때 AR 뷰에 빨간 마커가 나타나지 않아 라이다 센서 고장이 드러났고, 이는 단순한 시각 관찰만으로는 확인되지 않았던 이후의 충돌 사고를 설명해 주었습니다.
• 노란색 마커를 사용한 경로 궤적 시각화가 사용자가 로봇의 이동 방향을 예측하는 데 도움이 되어 의도 인식을 지원하는 것으로 나타났습니다.
• 자동차 전조 신호를 모방한 전환 신호 기능은 로봇의 전환 방향을 효과적으로 통신하여 주행 투명성을 향상시켰습니다.
• 사용자가 실제 로봇 동작(예: 센서 오류로 인한 경로 이탈)과 AR 피드백를 연계할 수 있도록 실시간으로 로봇 행동의 디버깅을 가능하게 했습니다.
• 프레임워크는 EV3 로봇으로도 성공적으로 확장되었으며, 초음파 센서 데이터가 파란 원뿔로 시각화되어 교육용 로봇 공학 잠재력이 입증되었습니다.