[論文レビュー] Interacting Attention Graph for Single Image Two-Hand Reconstruction

Mengcheng Li, Liang An+5 more|arXiv (Cornell University)|Mar 17, 2022

Anatomy and Medical Technology被引用数 13

ひとこと要約

本稿では、単一のRGB画像から二本の手の3Dメッシュを再構築するための、グラフ畳み込みネットワーク（GCN）ベースの手法であるIntagHandを提案する。本手法は、頂点と画像特徴のアライメントを図るためのピラミッド画像特徴アテンション（PIFA）と、二本の手間の相互作用をモデル化するクロスハンドアテンション（CHA）の2つの新規アテンションモジュールを導入している。本手法は、InterHand2.6Mベンチマークにおいて8.79 mmのMPJPEと9.03 mmのMPVPEを達成し、既存手法を著しく上回る最先端の性能を発揮した。

ABSTRACT

Graph convolutional network (GCN) has achieved great success in single hand reconstruction task, while interacting two-hand reconstruction by GCN remains unexplored. In this paper, we present Interacting Attention Graph Hand (IntagHand), the first graph convolution based network that reconstructs two interacting hands from a single RGB image. To solve occlusion and interaction challenges of two-hand reconstruction, we introduce two novel attention based modules in each upsampling step of the original GCN. The first module is the pyramid image feature attention (PIFA) module, which utilizes multiresolution features to implicitly obtain vertex-to-image alignment. The second module is the cross hand attention (CHA) module that encodes the coherence of interacting hands by building dense cross-attention between two hand vertices. As a result, our model outperforms all existing two-hand reconstruction methods by a large margin on InterHand2.6M benchmark. Moreover, ablation studies verify the effectiveness of both PIFA and CHA modules for improving the reconstruction accuracy. Results on in-the-wild images and live video streams further demonstrate the generalization ability of our network. Our code is available at https://github.com/Dw1010/IntagHand.

研究の動機と目的

• 二本の手が相互に干渉する状況、特に重度の隠蔽や外見の混同に起因する課題を解消するため、単一のRGB画像から二本の手を再構築すること。
• 既存のGCNベース手法が、手間の相互作用や頂点と画像特徴のアライメントを効果的にモデル化できないという限界を克服すること。
• アテンション機構を統合した新規なGCNフレームワークを構築し、野外画像におけるメッシュ再構築の精度と一般化性能を向上させること。

提案手法

• IntagHandは、粗い段階から細かい段階へと段階的にメッシュ頂点を回帰するGCNデコーダを採用し、単一の手を対象としたGCN手法を二本の手のシナリオに拡張している。
• ピラミッド画像特徴アテンション（PIFA）モジュールは、画像パッチ全体に対するグローバルアテンションを用いて、変換器エンコーダを介し、メッシュ頂点と多スケール画像特徴をアライメントする。
• クロスハンドアテンション（CHA）モジュールは、二本の手の頂点間で密なクロスアテンションを実現し、相互作用の文脈をモデル化することで、隠蔽領域の解釈を明確にする。
• アップサンプリング段階ごとに高解像度の特徴を提供するためのピラミッド画像特徴抽出モジュールを設計した。
• 各GCNアップサンプリングブロックにPIFAおよびCHAモジュールを統合し、頂点と画像のアライメントおよび手間の整合性を向上させた。
• 本フレームワークは、InterHand2.6Mデータセット上でエンドツーエンドに学習され、ベンチマークデータおよび野外データの両方で評価された。

実験結果

リサーチクエスチョン

• RQ1 GCNベースのアーキテクチャは、相互に隠蔽されたり外見が混同されたりする状況下でも、単一のRGB画像から二本の手を効果的に再構築できるか？
• RQ2 明示的なキーポoint監視を用いずに、メッシュ回帰フレームワークにおける頂点と画像特徴のアライメントをどのように改善できるか？
• RQ3 手の頂点間のクロスアテンションは、どの程度、手間の相互作用をモデル化し、隠蔽領域における再構築誤差を低減できるか？
• RQ4 多スケール画像特徴の統合は、3D手メッシュ再構築の精度を向上させるか？
• RQ5 既存の最先端手法と比較して、本手法は実世界の野外画像やライブ動画ストリームに対してどの程度一般化できるか？

主な発見

• IntagHandは、InterHand2.6Mベンチマークで8.79 mmのMPJPEおよび9.03 mmのMPVPEを達成し、前回の最先端手法よりもMPJPEで4.7 mm優れている。
• アブレーションスタディの結果、PIFAおよびCHAモジュールの両方が顕著な寄与をしていることが確認され、PIFAはアライメントを向上させ、CHAは隠蔽関連の誤差を低減している。
• PIFAモジュールを削除するとMPJPEが0.89 mm増加し、CHAモジュールを削除するとMPJPEが0.63 mm増加するなど、それぞれのモジュールが有効であることが示された。
• ピラミッド構造の画像特徴は、単一解像度特徴よりも性能を向上させ、IFA-32およびIFA-8は非ピラミッドベースラインよりも優れた結果を示した。
• 野外画像およびライブ動画ストリームにおける定性的な結果から、柔軟で隠蔽された手のポーズを安定して再構築できていることが確認された。
• 本手法は実世界のシナリオにおいても良好に一般化され、リアルタイムで高品質で時間的に一貫性のあるメッシュ再構築を実現した。