[論文レビュー] A new approach to evaluating legibility: Comparing legibility frameworks using framework-independent robot motion trajectories

Sebastian Wallkötter, Mohamed Chétouani+1 more|arXiv (Cornell University)|Jan 15, 2022

Robotic Locomotion and Control被引用数 7

ひとこと要約

本稿では、事前に生成された、モーショングレーディングフレームワークに依存しない軌道を用いて、ロボットの運動の可読性をフレームワークに依存しない評価手法を提案する。これにより、可読性フレームワーク間の効率的なN方向比較が可能になる。この手法により、ボッデン可読性（特に速度指標を用いた場合）が最も優れていることが明らかになった。一方、軌道の進行具合や観測角度は、認識される可読性に顕著な影響を与えるが、これらは既存のフレームワークでしばしば無視されている要因である。

ABSTRACT

Robots that share an environment with humans may communicate their intent using a variety of different channels. Movement is one of these channels and, particularly in manipulation tasks, intent communication via movement is called legibility. It alters a robot's trajectory to make it intent expressive. Here we propose a novel evaluation method that improves the data efficiency of collected experimental data when benchmarking approaches generating such legible behavior. The primary novelty of the proposed method is that it uses trajectories that were generated independently of the framework being tested. This makes evaluation easier, enables N-way comparisons between approaches, and allows easier comparison across papers. We demonstrate the efficiency of the new evaluation method by comparing 10 legibility frameworks in 2 scenarios. The paper, thus, provides readers with (1) a novel approach to investigate and/or benchmark legibility, (2) an overview of existing frameworks, (3) an evaluation of 10 legibility frameworks (from 6 papers), and (4) evidence that viewing angle and trajectory progression matter when users evaluate the legibility of a motion.

研究の動機と目的

• ロボット運動における可読性フレームワークを比較するための標準的で効率的な評価手法の欠如に応えること。
• 二項比較に依存せずに、可読性フレームワーク間を直接N方向に比較可能にすること。
• 視点角度や軌道進行具合といった外部要因が認識される可読性に与える影響を特定し、評価すること。
• 実験負荷を軽減し、研究間での再現性を向上させる統一されたベンチマークツールを提供すること。
• 特定の応用シナリオに最適な可読性フレームワークの選定を研究者や実務家に支援すること。

提案手法

• 任意の可読性フレームワークに依存しない固定された運動軌道のセットを事前に生成し、フレームワークに依存しないことを保証する。
• これらの軌道を人間評価のベースラインとして用い、人間が認識する可読性の基準を確立する。
• 各可読性フレームワークを用いて、同じ軌道を再最適化し、可読性が向上したバージョンを比較対象とする。
• オリジナル軌道とフレームワーク最適化済み軌道の両方について、ユーザーのフィードバックを収集し、性能順にランク付けする。
• 物理的ロボット（1つの固定視点）とシミュレーテッドロボット（3つの視点）の2つのシナリオで実験を実施する。
• 統計的分析を用いて、軌道進行具合や観測者の視点を考慮したフレームワークの性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 二項比較を必要とせず、複数のアプローチ間で効率的かつ頑健に可読性フレームワークを比較する方法は何か？
• RQ2 フレームワークに依存しない軌道条件下で、どの可読性フレームワークが最も優れているか？
• RQ3 観測者の視点角度は、ロボットの運動軌道の認識される可読性にどのように影響するか？
• RQ4 軌道が時間経過とともに進行する過程が、認識される可読性にどのように影響するか？
• RQ5 現在の可読性フレームワークは、運動実行中のユーザーの意図認識の動的変化をどの程度適切にモデル化しているか？

主な発見

• 提案された評価手法により、1つの共通の軌道セットを用いて、可読性フレームワークを効率的かつ直接的にN方向に比較可能である。
• ボッデン可読性（特に速度指標を用いた場合）は、両シナリオにおいて他のフレームワークを上回る認識される可読性を示した。
• 軌道の進行具合は可読性認識に顕著な影響を与え、ロボットが目的に向かって進むにつれて可読性が向上する傾向がある。
• 視点角度は可読性認識に測定可能な影響を与えるが、唯一のフレームワーク（ニコライデス可読性）のみがこれを明示的に考慮している。
• 強化学習ベースの可読性フレームワークは、軌道長に対する正則化の影響により、性能が劣ることがある。これは可読性と負の相関があるため。
• 現在の可読性フレームワークが、運動実行中のユーザーの意図認識の動的進化を十分にモデル化していない強力な証拠がある。