[論文レビュー] ARCTIC: A Dataset for Dexterous Bimanual Hand-Object Manipulation

Zicong Fan, Omid Taheri+5 more|arXiv (Cornell University)|Apr 28, 2022

Human Pose and Action Recognition被引用数 6

ひとこと要約

本論文は、マルチビューRGB動画と正確な3Dハンドおよびオブジェクトメッシュアノテーションを備えた、二本の手がアーティキュレーテッドオブジェクトを器用に操作する大規模なデータセットARCTICを紹介する。本研究では、一貫性のある運動再構成とインタラクションフィールド推定という二つの新規タスクを提案し、ベースラインとしてArcticNetとInterFieldを提示。ARCTICで事前学習することで、ハンドおよびオブジェクトポーズ推定などの下流タスクにおける性能向上を示した。

ABSTRACT

Humans intuitively understand that inanimate objects do not move by themselves, but that state changes are typically caused by human manipulation (e.g., the opening of a book). This is not yet the case for machines. In part this is because there exist no datasets with ground-truth 3D annotations for the study of physically consistent and synchronised motion of hands and articulated objects. To this end, we introduce ARCTIC -- a dataset of two hands that dexterously manipulate objects, containing 2.1M video frames paired with accurate 3D hand and object meshes and detailed, dynamic contact information. It contains bi-manual articulation of objects such as scissors or laptops, where hand poses and object states evolve jointly in time. We propose two novel articulated hand-object interaction tasks: (1) Consistent motion reconstruction: Given a monocular video, the goal is to reconstruct two hands and articulated objects in 3D, so that their motions are spatio-temporally consistent. (2) Interaction field estimation: Dense relative hand-object distances must be estimated from images. We introduce two baselines ArcticNet and InterField, respectively and evaluate them qualitatively and quantitatively on ARCTIC. Our code and data are available at https://arctic.is.tue.mpg.de.

研究の動機と目的

• 両手によるアーティキュレーテッドオブジェクトの操作を対象とした、大規模で物理的に整合的で時間的に同期された3Dデータセットの不足を解消すること。
• 単眼動画からの空間的・時間的整合性のある3Dハンドおよびアーティキュレーテッドオブジェクト再構成に関する研究を可能にすること。
• 接触の有無という二値的接触を超えた、密な相対的空間的配置を含む動的ハンドオブジェクト相互作用の研究を可能にすること。
• 複雑で器用な操作シナリオにおける物理的に妥当なハンドオブジェクトダイナミクスを学習するためのベンチマークを提供すること。
• 豊富なポーズおよび接触の変動を捉えることで、現実世界の操作タスクに一般化可能なモデルの開発を支援すること。

提案手法

• データセットは、54台の高解像度ViconモーショントラッキングカメラとマルチビューRGBカメラを同期させることで収集され、ハンドおよびアーティキュレーテッドオブジェクトの正確な3Dメッシュ再構成が可能である。
• ハンドおよびオブジェクトメッシュは、MoSh++およびSMPL-X/MANOモデルを用いてマーカー情報にフィットさせられ、高精度な3Dアノテーションが保証される。
• 本データセットには、10名の被験者が11種類のアーティキュレーテッドオブジェクト（例：ハサミ、ラップトップ）と相互作用し、8つのアロセントリックおよび1つのイゴセントリック視点から合計210万フレームのRGBフレームが含まれる。
• 本研究では二つの新規タスクを導入した：(1) 単眼動画からの一貫性のある運動再構成、(2) 密な相対的ハンド・オブジェクト距離の推定。
• ベースラインとして、時間的再帰モデルを備えたエンコーダデコーダ型のArcticNet（運動再構成用）と、単フレームおよび再帰型のInterField（インタラクションフィールド推定用）が提示された。
• 接触情報は、GRABから改変した洗練されたパイプラインを用いて収集され、ハンドとオブジェクト間の詳細な動的接触ラベル付けが可能となった。

実験結果

リサーチクエスチョン

• RQ1 単眼動画を用いて、ポーズ、接触、アーティキュレーションにおいて空間的・時間的整合性を持つ二本のハンドおよびアーティキュレーテッドオブジェクトの3D運動を再構成できるか？
• RQ2 RGB画像からハンドの頂点とオブジェクト表面間の密な相対的距離を推定し、動的インタラクションフィールドをモデル化できるか？
• RQ3 ARCTICで事前学習することで、ハンドおよび剛体オブジェクト再構成を含む下流タスクの性能がどの程度向上するか？
• RQ4 ARCTICにおける相互作用の多様性および動的特性は、既存のデータセットと比較して、ポーズ変動および接触の複雑さの面でどのように異なるか？
• RQ5 ARCTICで学習したモデルは、アーティキュレーテッドおよび剛体オブジェクトを含む現実世界の操作タスクに一般化できるか？

主な発見

• ARCTICでArcticNetを事前学習することで、HO3Dベンチマークにおけるハンドポーズ推定のMPJPE（スケール・トランスレーション補正済み）誤差が9.2%改善された。
• オブジェクト再構成において、ARCTICで事前学習した後にHO3Dで微調整した場合、頂点同士の誤差（ルートアラインド）が7.1%改善された。
• インタラクションフィールド推定ベースラインであるInterField-SFはHO3Dに一般化可能であり、既存のデータセットでも密な空間的相互作用モデリングの可能性を示した。
• 定性的な結果から、ARCTICは複雑で動的なハンドオブジェクト相互作用を高精度なポーズおよび接触の変動性を伴って捉えており、既存のデータセットを上回る複雑さを示している。
• 本データセットは、奥行きの曖昧さやオクルージョンの課題に対処しつつ、正確な接触およびアーティキュレーションを伴う物理的に整合性のある運動のモデリングを可能にした。
• ARCTICは、未知のオブジェクト形状に対しても一般化可能なモデルの開発を支援する基盤を提供しており、将来的な3Dアーティキュレーテッドオブジェクト推論研究の基盤となる。