[논문 리뷰] Enabling Socially Competent navigation through incorporating HRI

Arturo Cruz-Maya, Fernando García외 1명|arXiv (Cornell University)|2019. 04. 19.

Video Surveillance and Tracking Methods참고 문헌 18인용 수 4

한 줄 요약

이 논문은 사람에 의해 길이 막힐 경우 사회적으로 적절한 행동을 가능하게 하기 위해 인간-로봇 상호작용(HRI)을 로봇 주행에 통합하는 새로운 프레임워크를 제시한다. ROS 주행, OpenCV, 그리고 MobileNet SSD를 결합하여 실시간으로 사람을 탐지하고, 주행을 일시정지하며 사회적 맥락을 평가한 후, 재개하기 전에 구두 허락 요청을 시작함으로써 실제 실내 환경에서 자연스러운 인간-로봇 협업을 가능하게 한다.

ABSTRACT

Over the last years, social robots have been deployed in public environments making evident the need of human-aware navigation capabilities. In this regard, the robotics community have made efforts to include proxemics or social conventions within the navigation approaches. Nevertheless, few works have tackled the problem of labelling humans as an interactive agent when blocking the robot motion trajectory. Current state of the art navigation planners will either propose an alternative path or freeze the motion until the path is free. We present the first prototype of a framework designed to enhance social competency of robots while navigating in indoor environments. The implementation is done using Navigation and Object Detection open-source software. Specifically, the Robot Operating System (ROS) navigation stack, and OpenCV with Caffe deep learning models and MobileNet Single Shot Detector (SSD), respectively.

연구 동기 및 목표

• 로봇이 길을 막는 사람과 상호작용해야 하는 동적 공공 환경에서 사회적으로 인지 가능한 주행의 부족을 해결한다.
• 길이 막힐 경우 인간 상호작용 없이 정지하거나 경로를 재설계하는 현재의 주행 계획기의 한계를 극복한다.
• 사람을 상호작용 가능한 에이전트로 간주하여 대화 기반의 허락 요청을 가능하게 하는 기능성 있는 시스템을 개발하고 구현한다.
• 오픈소스 소프트웨어 스택을 사용하여 히ュ먼로봇(페퍼)에 사회적으로 인지 가능한 주행을 실제 환경에 구현한다.
• 경로 길이와 장애물 접근도 지표에 기반해 필요할 때만 HRI를 트리거하는 상황 평가 모듈을 도입한다.

제안 방법

• 비용지도와 동적 재구성 기능을 갖춘 ROS 주행 스택을 사용하여 글로벌 및 로컬 경로 계획을 수행한다.
• 깊이 및 RGB 데이터로부터 실시간 사람 탐지를 위해 OpenCV와 Caffe, 그리고 MobileNet Single Shot Detector(SSD)를 활용한다.
• 경로가 막힐 경우(거리 < 3m) 레이저 스캔 데이터에 MeanShift 클러스터링을 적용하여 인간 집단을 탐지한다.
• 경로가 차단되었을 때 상황 평가 모듈을 활성화하고, 새로운 경로 길이를 원래 경로 길이와 비교하여 상호작용이 필요한지 여부를 판단한다.
• 경로가 막혀 있고 새로운 경로가 원래 경로보다 길 경우 주행을 정지하고 NAOqi 애플리케이션을 통해 구두 상호작용을 시작한다.
• 경로가 여전히 막혀 있을 경우 5초 타임아웃을 설정하여 허락 요청을 재시도함으로써 정지 상태에서의 지속성을 확보한다.

실험 결과

연구 질문

• RQ1 사람이 많은 환경에서 길이 막힐 경우 로봇은 어떻게 사회적 규범을 존중하면서 주행할 수 있는가?
• RQ2 로봇의 주행 시스템이 HRI를 통합하여 지나가기 위한 허락을 요청함으로써, 경로 재설계나 정지 없이도 작동할 수 있는가?
• RQ3 자동 경로 재설계 대신 사회적으로 적절한 상호작용을 유도하는 조건은 무엇인가?
• RQ4 원래 경로와 새로운 경로의 길이 비교가 상호작용 여부 또는 경로 재설계 여부를 결정하는 데 어떤 영향을 미치는가?
• RQ5 실제 환경에서의 시스템 구현이 예측 불가능하고 동적인 상황에서 성공적인 인간-로봇 협업을 어떻게 보여줄 수 있는가?

주요 결과

• 레이저 스캔 클러스터링과 사람 탐지 기반으로 길이 막힌 경로를 성공적으로 탐지하여, 필요할 때만 상호작용을 유도한다.
• 실제 시험에서 로봇은 길이 막힐 경우 주행을 일시정지하고 구두 허락 요청을 시작하여 자연스러운 인간-로봇 협업을 이끌었다.
• 예상치 못한 결과로 한 사람이 로봇의 요청을 듣고 다른 사람에게 길을 비켜달라고 적극적으로 요청하는 상황이 발생하여, 잠재적 협업이 유도된 것이 확인되었다.
• 경로 길이 비교 메커니즘 덕분에 더 짧은 경로가 존재할 경우 상호작용을 피할 수 있었고, 이는 효율성을 유지하는 데 기여했다.
• 다수의 사람들이 있는 복도와 같은 역동적인 실내 환경에서도 시스템은 사회적 인지 능력을 유지하며 뛰어난 안정성을 보였다.
• 외부 추론 성능 손실가 있음에도 불구하고, 프레임워크는 히ュ먼로봇(페퍼)에 성공적으로 구현되어 실제 환경에서 테스트되었다.