[論文レビュー] S$^2$Contact: Graph-based Network for 3D Hand-Object Contact Estimation with Semi-Supervised Learning

Tze Ho Elden Tse, Zhongqun Zhang+4 more|arXiv (Cornell University)|Aug 1, 2022

Hand Gesture Recognition Systems被引用数 5

ひとこと要約

本稿では、単眼RGB画像から3次元ハンドオブジェクト接触推定を行うための、半教師付きのグラフベースの深層学習フレームワークS$^2$Contactを提案する。動画フレーム間の視覚的・幾何的整合性を活用して高品質な偽ラベルを生成し、PointNetベースのモデルと比較して50%少ないパラメータと低いメモリコストを実現する効率的なグラフニューラルネットワークを用いることで、HO-3D、HP-3D、FreiHandの各データセットで最先端の性能を達成した。実際のアノテーションが限られた状況下でも、接触カバレッジとポーズ精度が顕著に向上した。

ABSTRACT

Despite the recent efforts in accurate 3D annotations in hand and object datasets, there still exist gaps in 3D hand and object reconstructions. Existing works leverage contact maps to refine inaccurate hand-object pose estimations and generate grasps given object models. However, they require explicit 3D supervision which is seldom available and therefore, are limited to constrained settings, e.g., where thermal cameras observe residual heat left on manipulated objects. In this paper, we propose a novel semi-supervised framework that allows us to learn contact from monocular images. Specifically, we leverage visual and geometric consistency constraints in large-scale datasets for generating pseudo-labels in semi-supervised learning and propose an efficient graph-based network to infer contact. Our semi-supervised learning framework achieves a favourable improvement over the existing supervised learning methods trained on data with `limited' annotations. Notably, our proposed model is able to achieve superior results with less than half the network parameters and memory access cost when compared with the commonly-used PointNet-based approach. We show benefits from using a contact map that rules hand-object interactions to produce more accurate reconstructions. We further demonstrate that training with pseudo-labels can extend contact map estimations to out-of-domain objects and generalise better across multiple datasets.

研究の動機と目的

• ハンドオブジェクト接触推定のための3次元アノテーションデータの不足、特に制約のない現実世界の設定における課題を解決すること。
• 接触マップを用いて接触相互作用をより現実的にモデル化することで、3次元ハンドおよびオブジェクト再構築の精度を向上させること。
• 完全な教師あり学習なしに、ドメイン外のオブジェクトや未観測のデータセットへ一般化できるようにすること。
• 一貫性制約を用いて生成された偽ラベルを活用することで、高価な3次元アノテーションへの依存度を低減すること。
• 従来のPointNetベースのアーキテクチャよりも効率的かつ正確な接触推定ネットワークを設計すること。

提案手法

• 視覚的および幾何的整合性を用いて動画シーケンス内で偽ラベルを生成する半教師付き学習フレームワークを提案する。
• 視覚的一致性は、連続フレーム間のSSIMベースの損失により強制され、外観の安定性が保証される。
• 幾何的一致性は、チェイミング距離およびSDFベースの損失により強制され、3次元点群の構造的整合性が維持される。
• 接触的一致性損失（$\mathcal{L}_{cont}$）により、予測された接触マップの時間的安定性が保証される。
• 効率的なグラフベースのニューラルネットワークが、ハンドおよびオブジェクトの点群を処理し、局所的な幾何的構造を捉えながらも、順列不変性を維持する。
• 訓練に使用する前に、一貫性損失に基づく信頼度のしきい値を用いて偽ラベルがフィルタリングされる。

実験結果

リサーチクエスチョン

• RQ1 視覚的および幾何的整合性制約を用いた半教師付き学習は、単眼画像からの3次元ハンドオブジェクト接触推定を改善できるか？
• RQ2 グラフベースのネットワークは、パラメータ数を減らし、メモリ使用量を低減しつつ、PointNetベースのモデルを上回る性能を達成できるか？
• RQ3 視覚的および幾何的整合性に基づいて生成された偽ラベルの使用は、ドメイン外のオブジェクトへの一般化を向上させるか？
• RQ4 異なる一貫性制約（視覚的、幾何的、接触的）は、最終的な性能にどのように寄与するか？
• RQ5 少量のアノテート済みデータセットから、ラベルなしで多様なデータセットへ効果的に転移可能か？

主な発見

• S$^2$Contactは、HO-3Dでハンドジョイント誤差8.74 mmを達成し、半教師付き学習を適用しないベースラインと比較して12%の相対的改善を示した。
• モデルは、ADD-0.1Dにおけるオブジェクトメッシュ誤差を8.56%低減し、接触カバレッジを非半教師付きベースラインと比較して58%向上させた。
• 接触的一致性損失（$\mathcal{L}_{cont}$）を無効化すると、オブジェクト誤差が5.45%悪化し、学習が不安定になる。
• 視覚的一致性損失（$\mathcal{L}_{SSIM}$）が最も顕著な影響を示し、その除去によりオブジェクト誤差が8.04%増加した。
• 提案されたグラフネットワークは、DGCNNと比較して2.4倍少ないパラメータと2倍少ないGPUメモリを必要としながら、より優れた性能を達成した。
• モデルはドメイン外のオブジェクトに対しても良好に一般化でき、複数のデータセットで強力なゼロショット転移性能を示した。