[論文レビュー] HOI4D: A 4D Egocentric Dataset for Category-Level Human-Object Interaction

Yunze Liu, Yun Liu+8 more|arXiv (Cornell University)|Mar 3, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

HOI4D は、カテゴリレベルの人間-物体インタラクションを対象とした、初めての大規模な4次元エゴセントリックデータセットを提供する。4,000のシーケンスにわたり240万フレームのRGB-Dフレームを含み、パノプティックセグメンテーション、3次元手首および物体ポーズ、アクション認識、再構築されたシーンの点群とオブジェクトメッシュのフレームごとの豊富なアノテーションを備える。このデータセットにより、4Dダイナミック点群のセマンティックセグメンテーション、カテゴリレベルのオブジェクトポーズトラッキング、詳細なエゴセントリックアクションセグメンテーションの3つの主要なタスクのベンチマークが可能となり、既存手法に顕著な課題が明らかになった。

ABSTRACT

We present HOI4D, a large-scale 4D egocentric dataset with rich annotations, to catalyze the research of category-level human-object interaction. HOI4D consists of 2.4M RGB-D egocentric video frames over 4000 sequences collected by 4 participants interacting with 800 different object instances from 16 categories over 610 different indoor rooms. Frame-wise annotations for panoptic segmentation, motion segmentation, 3D hand pose, category-level object pose and hand action have also been provided, together with reconstructed object meshes and scene point clouds. With HOI4D, we establish three benchmarking tasks to promote category-level HOI from 4D visual signals including semantic segmentation of 4D dynamic point cloud sequences, category-level object pose tracking, and egocentric action segmentation with diverse interaction targets. In-depth analysis shows HOI4D poses great challenges to existing methods and produces great research opportunities.

研究の動機と目的

• カテゴリレベルの人間-物体インタラクションのための、大規模で現実世界の4次元エゴセントリックデータセットの不足に応えること。特に、未観測の新しいオブジェクトカテゴリを含む状況を想定する。
• 既存のインスタンスレベルのデータセットが既知のCADモデルや合成データに依存するという制限を克服し、現実世界への応用可能性を高めること。
• 現実世界の条件（遮蔽、動的運動など）下での4次元シーン理解、カテゴリレベルのオブジェクトポーズトラッキング、詳細なアクション認識の研究を可能にすること。
• ロボット工学や拡張現実（AR）アプリケーションにおけるシミュレーションから現実への転送（sim-to-real transfer）を念頭に、現実的でスケーラブルなベンチマークを提供すること。

提案手法

• エゴセントリックカメラを用いて9名の参加者が610の異なる屋内部屋で作業を実施し、800個のオブジェクトインスタンス（16のカテゴリに分類）を対象に、240万フレームのRGB-Dフレームを収集した。対象オブジェクトは剛体およびアーチキテクチャッド（可動）の両方を含む。
• 人間によるラベル付けと自動アルゴリズムを組み合わせたハイブリッドアノテーションパイプラインを採用し、パノプティックセグメンテーション、モーショントラッキング、3次元手首ポーズ、カテゴリレベルのオブジェクトポーズのスケーラブルなフレーム単位のアノテーションを実現した。
• すべてのシーケンスに対して高精細な3次元オブジェクトメッシュとシーン点群を再構築し、3次元認識タスクを支援した。
• 3つのベンチマークタスクを設計した：4Dダイナミック点群シーケンスのセマンティックセグメンテーション、手-オブジェクトインタラクションにおけるカテゴリレベルのオブジェクトポーズトラッキング、多様なターゲットを持つエゴセントリック手のアクションセグメンテーション。
• 動画アクションセグメンテーションにはI3D特徴を用い、フレーム単位の正確性、編集距離（edit distance）、複数のIoU閾値におけるF1スコアを評価指標として用いた。
• HOI4D上で最先端の手法（例：PSTNet、P4Transformer、MS-TCN++）をベンチマークし、性能ギャップを分析するとともに、主な失敗モードを同定した。

実験結果

リサーチクエスチョン

• RQ1 既存の屋外データで学習された4次元セマンティックセグメンテーションモデルは、重度の遮蔽とセンサーノイズを伴う複雑でごみだらけの屋内エゴセントリックシーンに一般化可能か？
• RQ2 手による遮蔽や動的運動を伴う屋内環境下で、現在のカテゴリレベルのオブジェクトポーズトラッキング手法はどの程度の性能を示すか？
• RQ3 既存の動画アクションセグメンテーションモデルは、粗いレベルのデータセットで学習した場合、インタラクティブな状況下で詳細なアクションをどの程度適切に処理できるか？
• RQ4 現実世界のエゴセントリックシーケンスに適用した際、現在のモデルが詳細なカテゴリレベルのHOIで示す主な失敗モードは何か？

主な発見

• 最先端の屋外用4次元セマンティックセグメンテーションモデル（PSTNetとP4Transformer）は、HOI4Dではそれぞれ52.0%および61.2%のmIoUを達成した。特にオブジェクトカテゴリでは31.4%および44.6%と、背景（72.6%および77.7%）に比べて顕著に性能が低く、小サイズと遮蔽による課題が顕在化した。
• 既存の動画アクションセグメンテーションモデル（MS-TCN、MS-TCN++、Asformer）はHOI4Dで著しい性能低下を示し、フレーム単位の正確性は46.8%にとどまり、50Saladsデータセットの85.6%に比べて顕著に低い。これは、インタラクティブな状況下での細分化されたアクションへの一般化能力の不足を示唆している。
• 定性的な分析から、モデルはアクションの順序を学習するが、現在のアクションを正しく認識できないことが多く、特にアクションシーケンスが乱れた場合に顕著で、アクション認識における時間的精度の欠如が明らかになった。
• このデータセットは、現在の手法におけるカテゴリレベルの一般化、遮蔽、センサーノイズの処理における深刻な限界を露呈し、新しい4次元認識アーキテクチャの開発の必要性を強調した。
• HOI4Dは、現実のエゴセントリックデータを用いたカテゴリレベルのオブジェクトポーズトラッキングという、これまで未開拓であったタスクのベンチマークを可能にした。これは、現在のところ合成データや単純なシーン設定に限定された分野である。
• HOI4Dが提供する豊富なアノテーションと現実的な3次元再構築は、ロボット学習、拡張現実、シミュレーションから現実への転送に関する今後の研究の基盤を強固にした。