[論文レビュー] A Protocol for Validating Social Navigation Policies

Sören Pirk, Edward Lee+4 more|arXiv (Cornell University)|Apr 11, 2022

Mobile Crowdsensing and Crowdsourcing被引用数 6

ひとこと要約

本論文は、ロボットの社会的ナビゲーション方針を検証するための実世界ベンチマークプロトコルを提案する。標準化されたシナリオと現地でのアンケートを用いて、人間が社会的適合性をどのように認識しているかを測定する。この手法は、異なる環境や方針において高い再現性、スケーラビリティ、信頼性を示しており、アンケートの評価は、軽微な衝突のような微妙な否定的相互作用を含む、洗練された社会的行動を効果的に捉えている。

ABSTRACT

Enabling socially acceptable behavior for situated agents is a major goal of recent robotics research. Robots should not only operate safely around humans, but also abide by complex social norms. A key challenge for developing socially-compliant policies is measuring the quality of their behavior. Social behavior is enormously complex, making it difficult to create reliable metrics to gauge the performance of algorithms. In this paper, we propose a protocol for social navigation benchmarking that defines a set of canonical social navigation scenarios and an in-situ metric for evaluating performance on these scenarios using questionnaires. Our experiments show this protocol is realistic, scalable, and repeatable across runs and physical spaces. Our protocol can be replicated verbatim or it can be used to define a social navigation benchmark for novel scenarios. Our goal is to introduce a protocol for benchmarking social scenarios that is homogeneous and comparable.

研究の動機と目的

• 社会的適合性を有するロボットナビゲーションを評価するための標準化、再現可能で現実的なベンチマークの不足に対処すること。
• 異なる研究室や環境間でナビゲーション方針を一貫して比較できるプロトコルを開発すること。
• 安全性やタスク実行性能を超えた社会的受容性を評価するため、人間によるアンケートに基づく現地測定指標を導入すること。
• 軽量で標準的なシナリオ定義を用いることで、新しい社会的ナビゲーションシナリオへのスケーラビリティと一般化を確保すること。

提案手法

• 5つの標準的（canonical）な社会的ナビゲーションシナリオを定義：正面接近、交差点待機、交差点ジェスチャー、狭いドアウェイ、見えないコーナー。
• 実際の物理的環境に実ロボットと実際の人間参加者を用いて、各シナリオを実装する。
• シナリオごとに4〜5の質問を含む軽量なアンケートを用いて、現地での人間による社会的適合性の評価を収集する。
• 否定的に表現された質問を逆数値化することで、アンケート項目間での解釈の一貫性を確保する。
• 複数のポリシー（モデル予測制御（MPC）と行動クローン（BC）を含む）を、繰り返し実行して評価するプロトコルを適用する。
• 統計的分析を用いて、評価者間の一貫性と、時間的・場所的要因による再テストの一貫性を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された社会的シナリオを有する標準化された実世界ベンチマークは、異なる物理的空間や研究室間で信頼性を持って再現可能か？
• RQ2 現地でのアンケートは、ナビゲーション方針のパフォーマンスを評価する信頼性があり意味のある指標として機能するか？
• RQ3 MPCとBCの例を含む、異なるナビゲーション方針は、人間によるラベル付けされた評価において、どのように社会的適合性の観点から比較されるか？
• RQ4 従来の指標が見逃す可能性がある、軽微な物理的接触のような微妙な社会的失敗は、このプロトコルで検出可能か？
• RQ5 人間の評価は、繰り返し実行や異なる参加者間で一貫しているか。これは、指標の信頼性を示唆する。

主な発見

• アンケートに基づく指標は、高い評価者間一貫性を示し、同じシナリオについて3名の異なる参加者からも類似した平均評価を得た。
• 1名の参加者による90回の繰り返し実行において、同じシナリオが一貫した平均評価を示し、強い再テスト一貫性を示した。
• MPC方針はBC方針よりも低い平均評価を得ており、BC方針がより社会的適合性が高いと認識されたことを示している。
• 見えないコーナーのシナリオで発生した軽微な衝突（動画でほとんど気づかれないほど）は、強い否定的評価（社会的適切性について「強く同意しない」）を引き起こし、微妙な社会的失敗への感受性を示している。
• 異なる物理的場所間でも一貫した結果が得られ、このプロトコルのスケーラビリティと再現可能性を支持している。
• 最大30回の実行バッチで、信頼性があり意味のあるパフォーマンス勾配が得られたため、費用効果の高い評価が可能であると示唆された。