[論文レビュー] AssemblyHands: Towards Egocentric Activity Understanding via 3D Hand Pose Estimation

Takehiko Ohkawa, Kun He+4 more|arXiv (Cornell University)|Apr 24, 2023

Human Pose and Action Recognition被引用数 4

ひとこと要約

本稿では、300万枚の画像（うち49万枚はエゴセントリック視点）を含む大規模なベンチマーク「AssemblyHands」を紹介する。3Dハンドポーズは、マルチビュー特徴統合と反復的改善パイプラインにより高精度にアノテーションされている。この手法により、平均キーポイント誤差は4.20 mmにまで低下（元のAssembly101アノテーション比で85%低減）、エゴセントリック行動認識の精度が著しく向上することが示された。単一視点ベースラインを用いた場合、動詞分類で91.1%の相対的性能を達成した。

ABSTRACT

We present AssemblyHands, a large-scale benchmark dataset with accurate 3D hand pose annotations, to facilitate the study of egocentric activities with challenging hand-object interactions. The dataset includes synchronized egocentric and exocentric images sampled from the recent Assembly101 dataset, in which participants assemble and disassemble take-apart toys. To obtain high-quality 3D hand pose annotations for the egocentric images, we develop an efficient pipeline, where we use an initial set of manual annotations to train a model to automatically annotate a much larger dataset. Our annotation model uses multi-view feature fusion and an iterative refinement scheme, and achieves an average keypoint error of 4.20 mm, which is 85% lower than the error of the original annotations in Assembly101. AssemblyHands provides 3.0M annotated images, including 490K egocentric images, making it the largest existing benchmark dataset for egocentric 3D hand pose estimation. Using this data, we develop a strong single-view baseline of 3D hand pose estimation from egocentric images. Furthermore, we design a novel action classification task to evaluate predicted 3D hand poses. Our study shows that having higher-quality hand poses directly improves the ability to recognize actions.

研究の動機と目的

• エゴセントリック環境における、特に複雑なハンドオブジェクトインタラクションを対象とした高品質3Dハンドポーズアノテーションの不足を解消すること。
• エゴセントリック動画から正確な3Dハンドポーズを生成するために、同期されたエゴセントリックカメラからのマルチビュー特徴統合を活用する効率的な自動アノテーションパイプラインの開発。
• ハンドポーズ推定のための新しい評価スキーム（行動分類に基づく）を用いた、エゴセントリック3Dハンドポーズ推定のベンチマークの確立。
• 3Dハンドポーズ推定の品質が、下流の行動認識性能に与える影響の調査。
• エゴセントリック画像からの3Dハンドポーズ推定の強力な単一視点ベースラインの提供。

提案手法

• Assembly101データセットから抽出した300万枚の画像（うち49万枚はエゴセントリック）を、手動アノテーションと学習済み自動アノテーションモデルの組み合わせでアノテートする。
• 同期されたエゴセントリックカメラからのマルチビュー特徴統合を用いて、3Dハンドポーズ推定精度を向上させるために、自動アノテーションモデル（MVExoNet）を訓練する。
• 予測された関節位置の誤差を段階的に是正することで、ポーズ推定品質を向上させる反復的改善スキームを適用する。
• エゴセントリック入力のみを用いて2.5次元キーポイントヒートマップを最適化し、ハンドの識別を分類する単一視点3Dハンドポーズ推定ネットワーク（SVEgoNet）を開発する。
• ハンドポーズシーケンスを入力として用いる、新しい行動分類ベンチマークを設計し、6動詞の行動セットにおける動詞精度を指標に性能を評価する。
• 予測された3Dハンドポーズのシーケンスを入力として、MS-G3Dモデルを用いて動詞分類を実行し、推定されたポーズの行動理解への有用性を評価する。

Figure 1 : High-quality 3D hand poses as an effective representation for egocentric activity understanding. AssemblyHands provides high-quality 3D hand pose annotations computed from multi-view exocentric images sampled from Assembly101 [ 28 ] , which originally comes with inaccurate annotations com

実験結果

リサーチクエスチョン

• RQ1 3Dハンドポーズアノテーションの品質が、エゴセントリック行動認識モデルの性能に与える影響はいかほどか？
• RQ2 単一視点のハンドトラッキングに比べ、マルチビュー・マルチステージの自動アノテーションパイプラインは著しく高い精度を達成できるか？
• RQ3 単一視点エゴセントリックハンドポーズ推定器は、マルチビューのベースラインと比較して、行動認識で同等の性能を達成できるか？
• RQ4 向上した3Dハンドポーズ推定が、おもちゃの組立などの手順的タスクにおける動詞分類精度に与える影響は？
• RQ5 提案されたベンチマークは、エゴセントリックハンドオブジェクトインタラクションおよび行動理解の研究をどのように促進するか？

主な発見

• 提案された自動アノテーションパイプラインにより、平均キーポイント誤差は4.20 mmにまで低下し、元のAssembly101アノテーション比で85%の改善が達成された。
• 単一視点3Dハンドポーズ推定器（SVEgoNet）は、MPJPEが21.92 mmを記録し、UmeTrackベースライン（32.91 mm）比で33%の低減を達成した。
• SVEgoNetが予測したハンドポーズを用いた動詞分類では、平均動詞精度が54.7%に達し、UmeTrackの50.3%に比べ顕著な向上を示した。
• SVEgoNetは、自動アノテート済みポーズを用いた実験的上限（60.0%の動詞精度）と比較して91.1%の相対的性能を達成した。これは、予測されたポーズの実用性が非常に高いことを示している。
• 混同行列の分析から、SVEgoNetは特に「position」と「screw」の誤分類をそれぞれ13.1%および4.1%低減し、全動詞において誤分類エラーが減少した。
• 本研究は、より高品質な3Dハンドポーズ推定が、エゴセントリック行動認識タスクにおける性能向上に直接寄与することを確認した。

Figure 2 : Construction of AssemblyHands dataset and a benchmark task for egocentric 3D hand pose estimation. We first use manual annotations and an automatic annotation network (MVExoNet) to generate accurate 3D hand poses for multi-view images sampled from the Assembly101 dataset [ 28 ] . These an