[논문 리뷰] Principles and Guidelines for Evaluating Social Robot Navigation Algorithms

Anthony Francis, Claudia Pérez-D’Arpino외 29명|arXiv (Cornell University)|2023. 06. 29.

Social Robot Interaction and HRI인용 수 15

한 줄 요약

이 논문은 사회 로봇 네비게이션을 위한 여덟 가지 핵심 원칙을 정의하고, 공정하고 반복 가능한 평가를 방법과 플랫폼 간에 가능하게 하는 지침, 벤치마크, 데이터셋, 시뮬레이터, 통합 API를 제시한다.

ABSTRACT

A major challenge to deploying robots widely is navigation in human-populated environments, commonly referred to as social robot navigation. While the field of social navigation has advanced tremendously in recent years, the fair evaluation of algorithms that tackle social navigation remains hard because it involves not just robotic agents moving in static environments but also dynamic human agents and their perceptions of the appropriateness of robot behavior. In contrast, clear, repeatable, and accessible benchmarks have accelerated progress in fields like computer vision, natural language processing and traditional robot navigation by enabling researchers to fairly compare algorithms, revealing limitations of existing solutions and illuminating promising new directions. We believe the same approach can benefit social navigation. In this paper, we pave the road towards common, widely accessible, and repeatable benchmarking criteria to evaluate social robot navigation. Our contributions include (a) a definition of a socially navigating robot as one that respects the principles of safety, comfort, legibility, politeness, social competency, agent understanding, proactivity, and responsiveness to context, (b) guidelines for the use of metrics, development of scenarios, benchmarks, datasets, and simulators to evaluate social navigation, and (c) a design of a social navigation metrics framework to make it easier to compare results from different simulators, robots and datasets.

연구 동기 및 목표

• 안전성, 쾌적성, 인지 용이성(가독성), 예의, 사회적 역량, 에이전트 이해도, 선제성, 그리고 맥락에 맞는 적합성을 근거로 한 사회 로봇 네비게이션의 명확하고 실행 가능한 정의를 정의한다.
• 공정하고 반복 가능한 평가를 가능하게 하는 지표, 시나리오 설계, 벤치마크, 데이터셋, 시뮬레이터에 대한 가이드를 제공한다.
• 교차 시뮬레이터 및 교차 데이터셋 비교를 촉진하기 위한 사회 네비게이션 지표 프레임워크를 개발한다.
• 평가를 위한 시뮬레이터 출력의 통일을 위한 공통 API를 제안하고 방법론적 생애주기를 검토한다.

제안 방법

• 사회 네비게이션을 위한 여덟 가지 가이드 원칙(P1 안전, P2 쾌적성, P3 가독성, P4 예의, P5 사회적 역량, P6 타 에이전트 이해, P7 선제성, P8 맥락 적합성)을 제안한다.
• 원칙을 실험 설계, 지표, 시나리오, 벤치마크, 데이터셋, 시뮬레이터와 연결하는 분류학과 구조화된 가이드를 제공한다.
• 통합된 평가 프레임워크 내에서 주관적 인간 평가 지표, 해석적 지표, 학습된 지표를 논의한다.
• 반복 가능한 연구를 뒷받침하기 위한 사회 네비게이션 벤치마크, 데이터셋, 시뮬레이터, 배포의 생애주기를 개요화한다.

Figure 1 : We identify eight broad principles of social robot navigation - including safety, comfort, legibility, politeness, social competency, agent understanding, proactivity, and contextual appropriateness - which motivate specific guidelines for experiments, metrics, scenarios, benchmarks, data

실험 결과

연구 질문

• RQ1 사회 로봇 네비게이션을 어떻게 정의하고 측정 가능한 원칙들로 분해해야 하는가?
• RQ2 사회 네비게이션 알고리즘을 공정하게 비교하기 위해 어떤 지표, 시나리오, 벤치마크, 데이터셋, 시뮬레이터가 필요한가?
• RQ3 교차 시뮬레이터 및 교차 데이터셋 평가를 가능하게 하는 벤치마크와 통합 API를 어떻게 설계할 수 있는가?
• RQ4 평가에서 맥락이 네비게이션 원칙의 가중치에 어떤 영향을 미쳐야 하는가?
• RQ5 사회 네비게이션 연구를 발전시키기 위한 데이터 수집, 이슈 발견, 실험의 실용적 생애주기는 무엇인가?

주요 결과

• 사회 네비게이션을 안내하기 위해 여덟 가지 원칙이 제안된다: 안전, 쾌적성, 가독성, 예의, 사회적 역량, 에이전트 이해, 선제성, 그리고 맥락 적합성.
• 원칙과 실험 구성 요소(지표, 시나리오, 벤치마크, 데이터셋, 시뮬레이터)를 연결하는 분류학 및 가이드는 비교 가능성을 향상시킨다.
• 교차 시뮬레이터 및 교차 데이터셋 비교를 가능하게 하는 사회 네비게이션 지표 프레임워크가 제안된다.
• 데이터 수집, 이슈 발견, 실험실 실험, 시나리오 개발을 포함하는 사회 네비게이션 벤치마킹의 생애주기가 설명된다.
• 본 논문은 원칙 기반 평가를 구축하기 위해 실제-현실 세계의 인간-로봇 상호작용 연구와 시뮬레이션 기반 제거 연구의 혼합을 지지한다.

Figure 2 : We define a socially navigating robot as one that interacts with humans and other robots in a way that achieves its navigation goals while enabling other agents to achieve theirs. To make this objective achievable, we propose eight principles for social robot navigation: safety, comfort,