[論文レビュー] CPF: Learning a Contact Potential Field to Model the Hand-Object Interaction

Lixin Yang, Xinyu Zhan+4 more|arXiv (Cornell University)|Dec 2, 2020

Robot Manipulation and Learning参考文献 56被引用数 5

ひとこと要約

本稿では、接触ポテンシャル場（CPF）を提案する。CPFは学習可能で物理的に根拠を持つ接触表現であり、ばね-質量系としてのハンド・オブジェクト相互作用をモデル化し、弾性エネルギーを最小化することで、ロバストなポーズ推定を実現する。MIHOフレームワークはCPFを解剖学的に制約されたハンドモデル（A-MANO）と統合し、HO3Dで最先端の性能を達成するとともに、ノイズの多い真値を有するFHBでも物理的に妥当な結果を示した。

ABSTRACT

Modeling the hand-object (HO) interaction not only requires estimation of the HO pose, but also pays attention to the contact due to their interaction. Significant progress has been made in estimating hand and object separately with deep learning methods, simultaneous HO pose estimation and contact modeling has not yet been fully explored. In this paper, we present an explicit contact representation namely Contact Potential Field (CPF), and a learning-fitting hybrid framework namely MIHO to Modeling the Interaction of Hand and Object. In CPF, we treat each contacting HO vertex pair as a spring-mass system. Hence the whole system forms a potential field with minimal elastic energy at the grasp position. Extensive experiments on the two commonly used benchmarks have demonstrated that our method can achieve state-of-the-art in several reconstruction metrics, and allow us to produce more physically plausible HO pose even when the ground-truth exhibits severe interpenetration or disjointedness. Our code is available at https://github.com/lixiny/CPF.

研究の動機と目的

• 真値データに重ね合わせや不連続性が含まれる場合に、共同ハンド・オブジェクトポーズ推定において明示的な接触モデリングが不足している問題に対処する。
• 距離ベースの接触ヒューリスティクスや物理ベースの最適化に起因する制限を克服する。これらは意味的根拠がなく、柔軟性に欠ける。
• 各頂点ごとの接触意味を符号化し、最適化中に物理的妥当性を強制する接触表現を開発する。
• フィッティング中にポーズの異常を防ぐために、解剖学的に制約されたハンドモデル（A-MANO）を導入する。
• CPFを微分可能エネルギー項として用いるハイブリッド学習-フィッティングフレームワーク（MIHO）を提案する。

提案手法

• ハンド・オブジェクトの接触を、各ハンド-オブジェクト頂点ペアをばね-質量系として扱い、引力と斥力の両方を有するポテンシャル場（CPF）としてモデル化する。
• CPFの弾性エネルギーを、ばねエネルギーの合計として定義する。アフィニティのある頂点ペア間には引力が働き、物体同士が交差する場合には斥力が働く。
• 微分可能エネルギー最小化プロセスを用いてハンドおよびオブジェクトのポーズを最適化し、把持状態で最小の弾性エネルギーが得られるようにする。
• ねじれ-スプレイ-湾曲フレーム内で関節回転を制約することで、解剖学的に整合性のないポーズを防ぐ新しいハンドモデル（A-MANO）を導入する。
• 最初にニューラルネットワークで初期ポーズを予測し、その後にCPFに基づくエネルギー最小化でそれを精緻化するハイブリッド学習-フィッティングフレームワーク（MIHO）を設計する。
• 全エネルギーを幾何的正則化項、接触正則化項、解剖学的正則化項の組み合わせとして定式化し、接触エネルギー（E_elast）を物理的妥当性を実現する主要因とする。

実験結果

リサーチクエスチョン

• RQ1 学習可能で明示的な接触表現は、ハンド・オブジェクトポーズ推定の物理的妥当性と再構成精度を向上させることができるか？
• RQ2 各頂点に意味を持つポテンシャル場としての接触モデリングは、ヒューリスティックな距離ベースの接触モデリングと比較して、どのような利点があるか？
• RQ3 高自由度のハンドモデルにおいて、解剖学的制約は最適化中のポーズ異常をどの程度防止できるか？
• RQ4 ノイズの多いまたは不完全な真値データを有するベンチマークにおいて、提案フレームワークは既存手法を上回る性能を示せるか？
• RQ5 微分可能な接触エネルギー項の統合により、最適化の速度と安定性が向上するか？

主な発見

• HO3Dv2ベンチマークでは、MIHOが19.54 mmのハンド頂点誤差（HE）、21.57 mmのオブジェクト頂点誤差（OE）、16.92 mmのPD、11.76 mmのSIV、22.41 mmのDDという最先端の性能を達成した。
• 真値に深刻な重ね合わせを含むFHBデータセットでは、ノイズの多いアノテーションにもかかわらず、MIHOは真値よりも物理的に妥当な結果を示し、HEは19.54 mm、PDは16.92 mmであった。
• ベースラインの接触ヒューリスティクスと比較して、MIHOは平均イテレーション時間を46%短縮しながら、すべての指標でVanilla ContactおよびObMan Contactを上回った。
• 反発力のないばねを除去すると、PDは0.87 mm、SIVは2.00 mm悪化し、重ね合わせを回避するための反発力の重要性が確認された。
• アブレーション実験では、解剖学的制約（L_anat）が最適化中の異常なハンドポーズを防止することを示した。図7に示すように、制約なしの最適化では不自然な関節配置が生じた。
• CPFベースの手法は接触意味を正しく学習できており、定性的な結果から、非アフィニティペアに接触を強制しないまま、微妙な相互作用（例：ねじり出し中のリングフィンガーや小指の接触）を保持していることが確認された。