[論文レビュー] Hand-Object Contact Consistency Reasoning for Human Grasps Generation

Hanwen Jiang, Shaowei Liu+2 more|arXiv (Cornell University)|Apr 7, 2021

Robot Manipulation and Learning参考文献 49被引用数 6

ひとこと要約

本論文は、手と物体の接触一貫性を強制することで、3次元物体に対する自然で安定した人間の把持を生成するための新規フレームワークを提案する。接触マップ予測器とCVAEベースの把持生成器を備えた二重ネットワークアーキテクチャを導入し、テスト時適応を自己教師付きで行うことで、未観測およびドメイン外の物体に対しても一般化性能を向上させ、把持の質と安定性において最先端の性能を達成する。

ABSTRACT

While predicting robot grasps with parallel jaw grippers have been well studied and widely applied in robot manipulation tasks, the study on natural human grasp generation with a multi-finger hand remains a very challenging problem. In this paper, we propose to generate human grasps given a 3D object in the world. Our key observation is that it is crucial to model the consistency between the hand contact points and object contact regions. That is, we encourage the prior hand contact points to be close to the object surface and the object common contact regions to be touched by the hand at the same time. Based on the hand-object contact consistency, we design novel objectives in training the human grasp generation model and also a new self-supervised task which allows the grasp generation network to be adjusted even during test time. Our experiments show significant improvement in human grasp generation over state-of-the-art approaches by a large margin. More interestingly, by optimizing the model during test time with the self-supervised task, it helps achieve larger gain on unseen and out-of-domain objects. Project page: https://hwjiang1510.github.io/GraspTTA/

研究の動機と目的

• 複雑な手と物体の相互作用を伴う3次元物体に対して、自然で物理的に整合性のある人間の把持を生成する課題に対処すること。
• 予測された手の接触点と物体の接触領域の間の相互一貫性をモデル化することで、把持の現実性と安定性を向上させること。
• テスト時適応において、手と物体の接触予測の間の自己教師付き一貫性を活用することで、教師なしで適応を可能にすること。
• 推論時にオンラインで適応的かつ継続的に最適化することで、ドメイン外および未観測の物体への一般化を向上させること。

提案手法

• 3次元物体の点群を入力として、MANO手のパラメータを生成するための条件付き変分オートエンコーダ（CVAE）を訓練し、手が物体表面に近接するよう、および真値の接触領域と整合するよう、新たな損失関数を導入する。
• 別個のContactNetを訓練し、生成された手のポーズと物体の幾何形状から、物体の接触マップを予測する。この接触マップがテスト時適応のための監督信号を提供する。
• テスト時適応中に、手の接触点の予測とContactNetが生成する物体の接触マップの間の一貫性を保つために、自己教師付きの一貫性損失を導入する。
• テスト時適応（TTA）は、一貫性損失を用いて、外部の教師信号なしに、生成器を微調整することで、各テストインスタンスに対して動的に最適化を実行する。
• 本フレームワークは、オフラインとオンラインのTTAの両方のバリアントをサポートしており、継続的な最適化が可能なオンラインTTAが優れた性能を示す。
• 訓練と推論の両段階で、手と物体の接触の相互一貫性を活用することで、把持の安定性を向上させ、侵入を低減する。

Figure 2: The different usage of proposed networks in training and testing. Left : During training, the two networks learn generating human grasps and predicting object contact map separately on ground truth data. Right : At test-time, the two networks are unified in a cascade manner. A initial gras

実験結果

リサーチクエスチョン

• RQ1 どのようにして手と物体の接触一貫性をモデル化することで、生成された人間の把持の現実性と安定性を向上させられるか？
• RQ2 接触一貫性に基づく自己教師付きタスクは、未観測またはドメイン外の物体に対して、効果的なテスト時適応を可能にするか？
• RQ3 手の接触点と物体の接触領域の間の相互合意を強制することで、ゼロショットおよびクロスドメイン設定における一般化性能にどのような影響を与えるか？
• RQ4 オンライン対比でオフラインのテスト時適応が、把持の質と侵入制御に与える影響は何か？

主な発見

• 提案手法は、最先端の手法と比較して、特に未観測およびドメイン外の物体に対して、著しい把持生成品質の向上を達成する。
• オンラインテスト時適応（TTA）が最大の性能向上をもたらし、侵入深さを低減するとともに接触率を向上させつつ、シミュレーションの変位は低く保っている。
• 教師なしのラベルなしで、自己教師付きの一貫性タスクにより適応が可能となり、新規入力に対してより安定した自然な把持が得られる。
• 訓練段階で接触一貫性の制約を課すことで、より物理的に整合性のある把持が得られ、手と物体の侵入が低減され、接触分布も改善される。
• HO-3DおよびFPHAデータセットにおいて、本手法はベースラインモデルを上回り、安定性と侵入のバランスにおいて真値に達するか、それを上回る性能を示す。
• オンラインTTAバージョンは、オフラインの対応形よりも優れた結果を達成しており、推論時に継続的な最適化が有効であることを示している。

Figure 3: The architecture of GraspCVAE. (a) In training, it takes both hand-object as input to predict a hand mesh for grasping the object in a hand reconstruction manner using both of its encoder-decoder ; (b) At test-time, its decoder generates grasps by conditioning only on object information as