[論文レビュー] Principles and Guidelines for Evaluating Social Robot Navigation Algorithms

Anthony Francis, Claudia Pérez-D’Arpino+29 more|arXiv (Cornell University)|Jun 29, 2023

Social Robot Interaction and HRI被引用数 15

ひとこと要約

この論文は、social robot navigation の eight core principles を定義し、ガイドライン、ベンチマーク、データセット、シミュレータ、および統一APIを提示して、方法とプラットフォーム間で公正かつ再現可能な評価を可能にします。

ABSTRACT

A major challenge to deploying robots widely is navigation in human-populated environments, commonly referred to as social robot navigation. While the field of social navigation has advanced tremendously in recent years, the fair evaluation of algorithms that tackle social navigation remains hard because it involves not just robotic agents moving in static environments but also dynamic human agents and their perceptions of the appropriateness of robot behavior. In contrast, clear, repeatable, and accessible benchmarks have accelerated progress in fields like computer vision, natural language processing and traditional robot navigation by enabling researchers to fairly compare algorithms, revealing limitations of existing solutions and illuminating promising new directions. We believe the same approach can benefit social navigation. In this paper, we pave the road towards common, widely accessible, and repeatable benchmarking criteria to evaluate social robot navigation. Our contributions include (a) a definition of a socially navigating robot as one that respects the principles of safety, comfort, legibility, politeness, social competency, agent understanding, proactivity, and responsiveness to context, (b) guidelines for the use of metrics, development of scenarios, benchmarks, datasets, and simulators to evaluate social navigation, and (c) a design of a social navigation metrics framework to make it easier to compare results from different simulators, robots and datasets.

研究の動機と目的

• 安全性、快適性、読みやすさ、礼節、社会的適性、エージェントの理解、積極性、文脈適合性に根ざした、明確で実行可能な social robot navigation の定義を定義する。
• 公正で再現可能な評価を実現するための指標、シナリオ設計、ベンチマーク、データセット、シミュレータのガイドラインを提供する。
• クロスシミュレータおよびクロスデータセットの比較を促進する social navigation metrics framework を開発する。
• 評価のためにシミュレータの出力を統一する共通APIを提案する、方法論的ライフサイクルを検討する。

提案手法

• social navigation のための eight guiding principles（P1 safety、P2 comfort、P3 legibility、P4 politeness、P5 social competency、P6 understanding other agents、P7 proactivity、P8 contextual appropriateness）を提案する。
• 原則を実験設計、指標、シナリオ、ベンチマーク、データセット、シミュレータへ結びつける分類体系と体系的なガイドラインを提供する。
• 統一評価フレームワーク内で、主観的な人間評価指標、分析指標、および学習化された指標を検討する。
• 再現性のある研究を支援するための social navigation ベンチマーク、データセット、シミュレータ、およびデプロイメントのライフサイクルを概説する。

Figure 1 : We identify eight broad principles of social robot navigation - including safety, comfort, legibility, politeness, social competency, agent understanding, proactivity, and contextual appropriateness - which motivate specific guidelines for experiments, metrics, scenarios, benchmarks, data

実験結果

リサーチクエスチョン

• RQ1 social robot navigation をどのように定義し、測定可能な原則へ分解するべきか？
• RQ2 公正に比較するために、どの指標、シナリオ、ベンチマーク、データセット、シミュレータが必要か？
• RQ3 クロスシミュレータおよびクロスデータセット評価を可能にするベンチマークと統一APIをどのように設計できるか？
• RQ4 評価における原則の重み付けにおいて、文脈はどのように影響すべきか？
• RQ5 social navigation 研究を前進させるためのデータ収集、課題発見、実験の実践的なライフサイクルは何か？

主な発見

• social navigation を導くための eight principles を提案する： safety、comfort、legibility、politeness、social competency、agent understanding、proactivity、contextual appropriateness。
• 分類体系とガイドラインは、原理を実験コンポーネント（指標、シナリオ、ベンチマーク、データセット、シミュレータ）へ結びつけ、比較可能性を高める。
• クロスシミュレータおよびクロスデータセットの比較を可能にする social navigation metrics framework を提案する。
• データ収集、課題発見、実験室実験、シナリオ開発を含む social navigation ベンチマーキングのライフサイクルが説明される。
• 本論文は、原則に基づく評価を構築するために、実世界のヒューマン–ロボット対話研究とシミュレーションベースのアブレーション研究の組み合わせを提唱する。

Figure 2 : We define a socially navigating robot as one that interacts with humans and other robots in a way that achieves its navigation goals while enabling other agents to achieve theirs. To make this objective achievable, we propose eight principles for social robot navigation: safety, comfort,