[論文レビュー] HA-ViD: A Human Assembly Video Dataset for Comprehensive Assembly Knowledge Understanding

Hao Zheng, Regina Lee+1 more|arXiv (Cornell University)|Jul 9, 2023

Robot Manipulation and Learning被引用数 6

ひとこと要約

HA-ViD は、汎用組立ボックス（GAB）を用いた現実世界の産業用組立作業のマルチビュー・マルチモーダル動画を特徴とする、初めてのヒューマンアセンブリ動画データセットを提供する。作業者とロボットの両方が関与する、被験者、動作動詞、操作対象物、ターゲットオブジェクト、ツールの細分化された共有アノテーションを含む。CC BY-NC 4.0 の下で公開されており、3,222本の動画、150万フレーム、96,000件の時系列ラベル、200万件の空間ラベルを用いて、基礎的動画理解タスクのベンチマーク化と、ロボット工学、ヒューマン・ロボット協働、品質保証分野における包括的知識抽出の前進を可能にする。

ABSTRACT

Understanding comprehensive assembly knowledge from videos is critical for futuristic ultra-intelligent industry. To enable technological breakthrough, we present HA-ViD - the first human assembly video dataset that features representative industrial assembly scenarios, natural procedural knowledge acquisition process, and consistent human-robot shared annotations. Specifically, HA-ViD captures diverse collaboration patterns of real-world assembly, natural human behaviors and learning progression during assembly, and granulate action annotations to subject, action verb, manipulated object, target object, and tool. We provide 3222 multi-view, multi-modality videos (each video contains one assembly task), 1.5M frames, 96K temporal labels and 2M spatial labels. We benchmark four foundational video understanding tasks: action recognition, action segmentation, object detection and multi-object tracking. Importantly, we analyze their performance for comprehending knowledge in assembly progress, process efficiency, task collaboration, skill parameters and human intention. Details of HA-ViD is available at: https://iai-hrc.github.io/ha-vid.

研究の動機と目的

• 手順的知識の理解を支援する包括的で現実世界の組立動画データセットが不足しているという問題に対処すること。
• 複雑な組立作業中に生じる、異なる作業効率、代替ルート、一時停止、エラーといった自然な手順的学習行動を捉えること。
• 被験者、動作動詞、操作対象物、ターゲットオブジェクト、ツールの相互作用を捉える、一貫性のあるヒューマン・ロボット共有アノテーションプロトコルを確立すること。
• 産業的文脈における行動認識、行動セグメンテーション、物体検出、マルチオブジェクトトラッキングといった基礎的動画理解タスクのベンチマーク化を可能にすること。
• 細分化された構成的アノテーションを通じて、ロボットスキル学習、ヒューマン・ロボット協働、品質保証などの後続応用を支援すること。

提案手法

• 汎用組立ボックス（GAB）を用いた3段階の段階的組立セットアップによりデータを収集した。GABは250×250×250mmの産業用組立タスクであり、35個の部品と4種類の標準ツールを備える。
• 3222件の異なる組立作業において、タスクの優先順位と協働要件が異なる3枚のプレートを用いて、マルチビュー・マルチモーダル動画を記録した。
• 行動の細分化ラベル（被験者、動作動詞、操作対象物、ターゲットオブジェクト、ツール）を提供するため、階層的なヒューマン・ロボット共有組立分類法（HR-SAT）を用いた。
• 両手での協働状態を明示的にアノテートし、人間の一時停止とエラーもラベル付けして、手順的学習ダイナミクスを捉えた。
• データ前処理としてプライバシー保護のための顔ブラー処理と、行動セグメンテーションのベンチマーク化のためのI3D特徴抽出を実施した。
• CC BY-NC 4.0 の下で公開されており、今後のアップデート、エラーレポート、バージョニング管理をサポートする。

実験結果

リサーチクエスチョン

• RQ1 基礎的動画理解モデルは、現実世界の産業的環境における複雑な組立行動の認識とセグメンテーションをどの程度効果的に実行できるか？
• RQ2 行動認識およびセグメンテーションモデルは、作業効率の変動、代替ルート、組立中の人為的エラーを含む手順的知識をどの程度正確に捉えることができるか？
• RQ3 マルチオブジェクトトラッキングおよび物体検出モデルは、複雑で動的な組立シーンにおいて、すべての関連する部品およびツールを正確に局所化・追跡できるか？
• RQ4 提案されたヒューマン・ロボット共有アノテーションプロトコルは、ロボット工学および産業的応用分野における一貫性、解釈可能性、再利用性のある知識抽出をどの程度効果的に可能にするか？
• RQ5 細分化された構成的アノテーション（被験者、動詞、オブジェクト、ツール）は、視覚的質問応答やヒューマン・オブジェクト相互作用検出などの後続タスクの改善にどのような役割を果たすか？

主な発見

• HA-ViD は、3,222本のマルチビュー・マルチモーダル動画、150万フレーム、96,000件の時系列ラベル、200万件の空間ラベルを含み、これまでにない最大規模かつ最も詳細なヒューマンアセンブリ動画データセットである。
• 作業効率の変動、代替組立ルート、一時停止、エラーといった観察可能な行動を通じて、自然な手順的知識習得プロセスが捉えられており、これまではデータセットに欠落していた。
• ヒューマン・ロボット共有アノテーションプロトコルにより、被験者、動作動詞、操作対象物、ターゲットオブジェクト、ツールといった行動のコンponentsを細分化してラベル付け可能であり、解釈可能で構成的な理解の基盤を提供する。
• 行動認識、行動セグメンテーション、物体検出、MOT（マルチオブジェクトトラッキング）の4つの基礎的タスクにおけるベンチマーク化により、現在のモデルは、より豊富で構造化されたアノテーションスキームによって向上の余地があることが示された。
• 組み合わせ的行動認識、ヒューマン・オブジェクト相互作用検出、視覚的質問応答といった高度な応用を支援する。ロボット学習および品質保証分野への応用が期待される。
• データセットはCC BY-NC 4.0 の下で公開されており、今後のアップデート、エラー訂正、バージョニング管理が行われ、研究コミュニティにおける長期的有用性を確保する。