[论文解读] A Protocol for Validating Social Navigation Policies

Sören Pirk, Edward Lee+4 more|arXiv (Cornell University)|Apr 11, 2022

Mobile Crowdsensing and Crowdsourcing被引用 6

一句话总结

本文提出了一种用于验证机器人社交导航策略的真实世界基准协议，通过标准化场景和现场问卷调查来衡量人类对社交合规性的感知。该方法在不同环境和策略下均表现出高度的可重复性、可扩展性和可靠性，问卷评分有效捕捉了细微的社交行为，包括轻微碰撞等负面互动。

ABSTRACT

Enabling socially acceptable behavior for situated agents is a major goal of recent robotics research. Robots should not only operate safely around humans, but also abide by complex social norms. A key challenge for developing socially-compliant policies is measuring the quality of their behavior. Social behavior is enormously complex, making it difficult to create reliable metrics to gauge the performance of algorithms. In this paper, we propose a protocol for social navigation benchmarking that defines a set of canonical social navigation scenarios and an in-situ metric for evaluating performance on these scenarios using questionnaires. Our experiments show this protocol is realistic, scalable, and repeatable across runs and physical spaces. Our protocol can be replicated verbatim or it can be used to define a social navigation benchmark for novel scenarios. Our goal is to introduce a protocol for benchmarking social scenarios that is homogeneous and comparable.

研究动机与目标

• 解决当前缺乏标准化、可重复且真实的基准来评估社交合规机器人导航的问题。
• 开发一种协议，以实现实验室和不同环境之间导航策略的一致性比较。
• 引入基于人类问卷调查的现场度量方法，以评估社交可接受性，超越安全性和任务性能。
• 通过轻量级、标准场景定义，确保基准可扩展并适用于新的社交导航场景。

提出的方法

• 定义五种标准社交导航场景：正面接近、交叉口等待、交叉口手势、狭窄通道和盲角。
• 在真实物理环境中使用真实机器人和真实人类参与者实施每个场景。
• 采用轻量级问卷，每个场景包含4–5个问题，收集现场人类对社交合规性的评分。
• 对负面表述的问题进行反向计分，以确保问卷各项之间的解释一致性。
• 将该协议应用于评估多种策略（包括模型预测控制（MPC）和行为克隆（BC））在多次重复运行中的表现。
• 通过统计分析评估评分者间的一致性以及在时间和地点上的重测一致性。

实验结果

研究问题

• RQ1 是否能够可靠地在不同物理空间和实验室之间复现一种基于预定义社交场景的真实世界标准化基准？
• RQ2 现场问卷在多大程度上可作为评估社交导航策略性能的可靠且有意义的度量指标？
• RQ3 在人类标注评分下，不同导航策略（如MPC与BC）在感知社交合规性方面如何比较？
• RQ4 该协议是否能够检测到传统度量方法可能忽略的细微社交失败，例如轻微身体接触？
• RQ5 人类评分在重复试验和不同参与者之间是否具有一致性，从而体现该度量方法的可靠性？

主要发现

• 基于问卷的度量指标表现出高度的评分者间一致性，同一场景下三位不同参与者给出的平均评分相似。
• 同一参与者在90次重复运行中对同一场景的平均评分保持一致，表明具有强大的重测一致性。
• MPC策略的平均评分低于BC策略，表明BC策略在感知上更具社交合规性。
• 在盲角场景中发生的一次轻微碰撞——视频中几乎不可见——导致了强烈的负面评分（如‘强烈不同意’社交适当性），显示出对细微社交失败的高度敏感性。
• 该协议在不同物理位置均产生了稳定且可比较的结果，支持其可扩展性和可复现性。
• 每批最多30次运行即可获得可靠且有意义的性能梯度，表明该评估方法具有成本效益。