[論文レビュー] The Magni Human Motion Dataset: Accurate, Complex, Multi-Modal, Natural, Semantically-Rich and Contextualized

Tim Schreiter, Tiago Rodrigues de Almeida+10 more|arXiv (Cornell University)|Aug 31, 2022

Video Surveillance and Tracking Methods被引用数 7

ひとこと要約

本論文は、モーショングラフ、アイトラッキング、ロボットセンサデータを用いて、意味的・文脈的に豊かな屋内環境で自然で目的志向的な人間の動きを高精細かつマルチモーダルに捉えた、Magni Human Motion Datasetを紹介する。このデータセットは、緩やかなスクリプト化されたタスクと音声コマンドを介して誘発された現実的で自然な行動を伴う、160分間にわたる多様で文脈に配慮した人間-ロボット共同走行を含んでおり、人間の動き予測、HRI、文脈に配慮したロボティクス分野における先進的で高度な研究を可能にする。

ABSTRACT

Rapid development of social robots stimulates active research in human motion modeling, interpretation and prediction, proactive collision avoidance, human-robot interaction and co-habitation in shared spaces. Modern approaches to this end require high quality datasets for training and evaluation. However, the majority of available datasets suffers from either inaccurate tracking data or unnatural, scripted behavior of the tracked people. This paper attempts to fill this gap by providing high quality tracking information from motion capture, eye-gaze trackers and on-board robot sensors in a semantically-rich environment. To induce natural behavior of the recorded participants, we utilise loosely scripted task assignment, which induces the participants navigate through the dynamic laboratory environment in a natural and purposeful way. The motion dataset, presented in this paper, sets a high quality standard, as the realistic and accurate data is enhanced with semantic information, enabling development of new algorithms which rely not only on the tracking information but also on contextual cues of the moving agents, static and dynamic environment.

研究の動機と目的

• ロボティクス研究における意味的・文脈的に豊かな高品質で自然な人間の動きデータセットの不足を解消すること。
• 従来のデータセットがスクリプト化された行動や不自然な行動に依存しており、マルチモーダルセンサ融合を欠いているという限界を克服すること。
• 一方向通行、注意喚起ゾーン、動的環境要因といった意味的ヒントを統合することで、文脈に配慮した動きモデリングを可能にすること。
• モーショングラフ、アイトラッカー、モバイルロボットセンサからの高精度で同期されたデータを活用し、先進的な人間-ロボットインタラクションシステムの開発を支援すること。
• 現実的で目的志向的なナビゲーションパターンを用いて、人間の動き予測、障害物回避、人間-ロボット協働分野における研究を促進すること。

提案手法

• 静的障害物、動的ロボット、意味的マークイング（例：一方向通行、注意喚起ゾーン）を備えた、意図的に設計された屋内ラボ環境でデータ収集を実施。
• 参加者がランダムなゴールカードとDiscord経由の音声コマンドを受け取る緩やかなスクリプト化されたプロトコルを用い、自然で目的志向的なナビゲーションを誘発。
• 同期されたマルチモーダルデータを記録：3次元モーショングラフ軌跡、3台のアイトラッカー（Tobii Glasses 2/3、Pupil Invisible Glasses）からの2次元および3次元のアイガazeベクトル、およびロボット搭載センサデータ（LiDAR、RGB、RGB-D、魚眼カメラ）。
• 微分駆動と全方向駆動の2種類のロボット運動モードを実装し、異なる運動学的条件下での人間-ロボット衝突回避行動を調査。
• 4日間の収集期間中に30名の異なる参加者を対象とし、3つのシナリオにそれぞれ2つのバリエーションを設け、合計10回の4分間走行を実施。
• ROSベースのrosbag記録を用いてセンサストリーム（人間追跡出力および環境マップを含む）を同期・保存。

実験結果

リサーチクエスチョン

• RQ1 繰り返しのないスクリプト化された行動を伴わない自然で目的志向的かつ社会的配慮のある行動をとる人間の動きデータを、どのように収集できるか？
• RQ2 意味的環境的ヒント（例：一方向通行、注意喚起ゾーン）は、共有屋内空間における人間のナビゲーションパターンと意思決定にどの程度影響を与えるか？
• RQ3 モーショングラフ、アイガゼ、ロボットセンサデータを統合するマルチモーダルセンサ融合は、人間-ロボットインタラクションにおける人間行動モデリングをどの程度向上させるか？
• RQ4 微分駆動と全方向駆動の異なるロボット運動ダイナミクスは、人間のナビゲーション戦略と衝突回避行動にどのような影響を与えるか？
• RQ5 文脈的に豊かで意味的にアノテートされた動きデータは、動き予測およびダイナミクスマップ学習モデルの性能と解釈可能性を向上させることができるか？

主な発見

• 30名の異なる参加者を対象に160分間の人間の動きデータを収集し、1日あたり10回の走行（各4分間）を実施し、1日あたり40分間のマルチモーダルデータが得られた。
• 緩やかなスクリプト化されたタスクと音声誘導によるゴール変更のおかげで、参加者は繰り返しや不自然な動きを示さずに自然で目的志向的なナビゲーションパターンを示した。
• 意味的文脈（一方向通行、注意喚起ゾーンなど）の導入により、参加者は顕著な行動適応を示し、高リスクゾーンを避けるとともに、指定された流れに従った行動をとった。
• 3次元グローバルフレームにおけるアイガゼデータは、明確な視覚的注意パターンを示し、ガゼベクトルが環境要因にマッピングされることで、注意に起因するナビゲーション分析が可能になった。
• 軌跡から生成されたダイナミクスマップは、注意喚起ゾーン付近で流れの強度が低下し、シナリオ1Bでは明確な一方向通行パターンが確認され、文脈に配慮した行動の確認が得られた。
• LiDAR点群およびRGB/RGB-D画像を含むロボットセンサデータは、正常に同期され、RVizで可視化された。これにより、後続の認識および追跡タスクへの応用が可能になった。