[论文解读] A new approach to evaluating legibility: Comparing legibility frameworks using framework-independent robot motion trajectories

Sebastian Wallkötter, Mohamed Chétouani+1 more|arXiv (Cornell University)|Jan 15, 2022

Robotic Locomotion and Control被引用 7

一句话总结

本文提出了一种与框架无关的机器人运动可读性评估方法，利用预先生成的、与运动框架无关的轨迹，实现对多种可读性框架的高效N路比较。该方法表明，Bodden可读性（尤其是使用速度度量时）表现最佳，而轨迹进展和观察角度显著影响可读性感知——这些因素在现有框架中常被忽视。

ABSTRACT

Robots that share an environment with humans may communicate their intent using a variety of different channels. Movement is one of these channels and, particularly in manipulation tasks, intent communication via movement is called legibility. It alters a robot's trajectory to make it intent expressive. Here we propose a novel evaluation method that improves the data efficiency of collected experimental data when benchmarking approaches generating such legible behavior. The primary novelty of the proposed method is that it uses trajectories that were generated independently of the framework being tested. This makes evaluation easier, enables N-way comparisons between approaches, and allows easier comparison across papers. We demonstrate the efficiency of the new evaluation method by comparing 10 legibility frameworks in 2 scenarios. The paper, thus, provides readers with (1) a novel approach to investigate and/or benchmark legibility, (2) an overview of existing frameworks, (3) an evaluation of 10 legibility frameworks (from 6 papers), and (4) evidence that viewing angle and trajectory progression matter when users evaluate the legibility of a motion.

研究动机与目标

• 解决机器人运动可读性框架比较中缺乏标准化、高效评估方法的问题。
• 实现在无需成对实验的情况下，对可读性框架进行直接的N路比较。
• 识别并评估外部因素（如观察角度和轨迹进展）对可读性感知的影响。
• 提供一个统一的基准测试工具，减少实验负担，同时提高研究间的可复现性。
• 为研究人员和实践者在特定应用场景下选择最优可读性框架提供指导。

提出的方法

• 独立于任何可读性框架生成一组固定的运动轨迹，确保其与框架无关。
• 将这些轨迹用作人类评估的基线，建立人类感知的可读性标准。
• 将每种可读性框架应用于重新优化相同轨迹，生成可用于比较的可读版本。
• 收集用户对原始轨迹和框架优化后轨迹的可读性反馈，以对性能进行排序。
• 在两种场景下开展实验：一种是单一固定观察角度（实体机器人），另一种是三种观察角度（模拟机器人）。
• 使用统计分析比较框架性能，同时考虑轨迹进展和观察者视角的影响。

实验结果

研究问题

• RQ1 如何在无需成对测试的情况下，高效且稳健地比较多种可读性框架？
• RQ2 在受控的、与框架无关的轨迹条件下，哪种可读性框架在可读性感知上表现最佳？
• RQ3 观察者的观察角度如何影响对机器人运动轨迹可读性的感知？
• RQ4 轨迹随时间的进展如何影响其可读性感知？
• RQ5 当前的可读性框架在多大程度上考虑了运动执行过程中用户意图识别的动态变化？

主要发现

• 所提出的评估方法可借助单一共享轨迹集，实现对可读性框架的高效、直接N路比较。
• Bodden可读性，特别是使用速度度量时，在两种场景下的可读性感知表现均优于其他框架。
• 轨迹进展显著影响可读性感知，随着机器人向目标移动，可读性逐渐提高。
• 观察角度对可读性感知有显著影响，仅有单一框架（Nikolaidis可读性）明确考虑了该因素。
• 基于强化学习的可读性框架可能表现欠佳，原因在于对轨迹长度的正则化，而轨迹长度与可读性呈负相关。
• 有充分证据表明，当前的可读性框架并未完全建模用户意图识别在运动执行过程中的动态演化。