[論文レビュー] Hand-Object Interaction Image Generation

Hezhen Hu, Weilun Wang+2 more|arXiv (Cornell University)|Nov 28, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、手のアイデンティティ、物体のアイデンティティ、ポーズ、および相互作用状態を条件として画像生成を行う、新しいタスクであるハンドオブジェクトインタラクション画像生成（HOIG）を紹介する。提案されたHOGANフレームワークは、モデルに依存する手と物体の表現を用いて統一された表面空間を構築し、自己および相互の隠蔽を明示的にモデル化する。画像生成はスプリットアンドコンビーン戦略を用い、HO3Dv3およびDexYCBデータセットにおいて、忠実度と構造的正確性の両面で最先端の結果を達成する。

ABSTRACT

In this work, we are dedicated to a new task, i.e., hand-object interaction image generation, which aims to conditionally generate the hand-object image under the given hand, object and their interaction status. This task is challenging and research-worthy in many potential application scenarios, such as AR/VR games and online shopping, etc. To address this problem, we propose a novel HOGAN framework, which utilizes the expressive model-aware hand-object representation and leverages its inherent topology to build the unified surface space. In this space, we explicitly consider the complex self- and mutual occlusion during interaction. During final image synthesis, we consider different characteristics of hand and object and generate the target image in a split-and-combine manner. For evaluation, we build a comprehensive protocol to access both the fidelity and structure preservation of the generated image. Extensive experiments on two large-scale datasets, i.e., HO3Dv3 and DexYCB, demonstrate the effectiveness and superiority of our framework both quantitatively and qualitatively. The project page is available at https://play-with-hoi-generation.github.io/.

研究の動機と目的

• ハンドとオブジェクト、およびそれらの相互作用状態を条件として画像生成を行う、新しいタスクであるハンドオブジェクトインタラクション画像生成（HOIG）を確立し、その検討を行う。
• 画像生成中に発生する、相互作用する手とオブジェクト間の複雑な自己および相互の隠蔽を扱う課題に取り組む。
• 生成されたハンドオブジェクト画像の外観忠実度と構造的正確性（例：ポーズや形状）を両方保持する。
• 手とオブジェクトの外観的特徴の差を考慮した、統一された表現と合成パイプラインを開発する。
• 定量的指標とユーザースタディーを併用した包括的な評価プロトコルを用いて、提案手法を評価する。

提案手法

• HOGANは、モデルに依存する手とオブジェクトのメッシュ表現を用いて、トポロジーと空間的関係を符号化する統一された表面空間を構築する。
• 可視性マップとトポロジーに配慮した変換を用いて、手の自己隠蔽および手とオブジェクト間の相互隠蔽を明示的にモデル化する。
• 画像生成をガイドするため、ソースポーズとターゲットポーズ間のフロー場を計算し、アイデンティティと構造を保持する。
• 画像生成はスプリットアンドコンビーン方式で実施：手とオブジェクトをそれぞれ、その外観的特徴に応じて別々に生成し、その後融合する。
• 高忠実度の結果を得るために、敵対的損失および知覚的損失を備えた条件付きGANベースのジェネレータを活用する。
• 包括的な評価プロトコルには、FID、LPIPS、AUC、PA-MPJPE、ADD-0.1D、およびユーザースタディーが含まれ、忠実度と構造的正確性の両方を評価する。

実験結果

リサーチクエスチョン

• RQ1 与えられたポーズのもとで、ソースの外観を保持しつつ、現実的で信頼性の高いハンドオブジェクトインタラクション画像を条件付き画像生成フレームワークが効果的に合成できるか？
• RQ2 相互作用する手とオブジェクト間の複雑な自己および相互の隠蔽を、画像生成の過程で明示的にモデル化する方法は何か？
• RQ3 それぞれの視覚的および構造的特性の差を考慮して、手とオブジェクトの生成を分離することで、どのような影響が生じるか？
• RQ4 提案手法は、実世界のデータセットにおいて、画像忠実度と構造的正確性の両面で、ベースラインをどの程度上回るか？
• RQ5 生成された画像は、下流のハンドオブジェクトポーズ推定モデルの性能向上を図るためのデータ拡張に効果的に利用できるか？

主な発見

• HOGANは、HO3Dv3およびDexYCBデータセットの両方で、FID、LPIPS、AUC、PA-MPJPE、ADD-0.1Dの指標において、ベースラインを上回る最先端の性能を達成した。
• HO3Dv3では、合成データで微調整した場合、AUCが78.0、ADD-0.1Dが76.8に達し、ベースラインを顕著に上回った。
• フレームワークは、物体のテクスチャ細部を正確に保持できており、物体に編集された文字（例：名前）を含む画像を生成するなど、現実的な外観を維持していることが実証された。
• 実際の手の画像に適用した場合、HOGANはソースの手のアイデンティティを保持し、正確にターゲットポーズを生成したことが、定性的な結果で示された。
• HOGANが生成した合成データは、最先端のHOPEモデルの性能を向上させ、データ拡張としての有効性を示した。
• ユーザースタディーの結果、HOGANが生成した画像は、ベースライン手法に比べてより現実的で構造的に正確であると認識された。