[論文レビュー] Reconstructing Action-Conditioned Human-Object Interactions Using Commonsense Knowledge Priors

Xi Wang, Gen Li+4 more|arXiv (Cornell University)|Jan 1, 2022

Multimodal Machine Learning Applications被引用数 2

ひとこと要約

本論文は、大規模言語モデル（LLM）から抽出した常識的知識事前分布を用いて、1枚のRGB画像から手動の接触アノテーションなしに多様で自己教師ありの3D相互作用モデリングを可能にする、アクション条件付き3D再構成フレームワークを提案する。本手法は、LLM由来の接触事前分布とポーズベースのアクション認識を活用することで、物体カテゴリや相互作用タイプを問わず一般化性能を著しく向上させ、最先端の性能を達成する。

ABSTRACT

We present a method for inferring diverse 3D models of human-object interactions from images. Reasoning about how humans interact with objects in complex scenes from a single 2D image is a challenging task given ambiguities arising from the loss of information through projection. In addition, modeling 3D interactions requires the generalization ability towards diverse object categories and interaction types. We propose an action-conditioned modeling of interactions that allows us to infer diverse 3D arrangements of humans and objects without supervision on contact regions or 3D scene geometry. Our method extracts high-level commonsense knowledge from large language models (such as GPT-3), and applies them to perform 3D reasoning of human-object interactions. Our key insight is priors extracted from large language models can help in reasoning about human-object contacts from textural prompts only. We quantitatively evaluate the inferred 3D models on a large human-object interaction dataset and show how our method leads to better 3D reconstructions. We further qualitatively evaluate the effectiveness of our method on real images and demonstrate its generalizability towards interaction types and object categories.

研究の動機と目的

• 単一の2D画像から多様な3D人間-物体相互作用を再構成する課題に取り組むこと。従来の手法は接触領域の手作業アノテーションに依存している。
• 手作業で作成された接触ルールや大規模なアノテート済み3Dデータセットを必要とする既存手法のスケーラビリティの限界を克服すること。
• カテゴリごとや相互作用タイプごとのアノテーションを一切必要とせず、多様な物体カテゴリや相互作用タイプに一般化できること。
• 視覚分野の低レベルな3D推論タスクに、LLMからの常識的知識を事前分布として用いる可能性を検討すること。
• 人間のボディポーズから相互作用タイプを推定するリtrievalベースのアクション認識モジュールを開発し、3D再構成の条件付けを行うこと。

提案手法

• 本手法は2段階の最適化フレームワークを採用する。まず人間と物体の形状およびポーズを独立して推定し、次に3D空間的配置と接触関係を共同で推論する。
• ポーズ類似度に基づくリtrievalモジュールを用いて、人間のボディポーズから潜在的なアクションタイプ（例：座る、立つ、傾く）を推定し、これをLLMプロンプトの条件として用いる。
• GPT-3などのLLMを用いて、人間-物体接触に関する常識的知識を洗練されたプロンプトにより抽出し、手作業アノテーションなしに部位ごとの接触事前分布を提供する。
• LLM由来の接触事前分布、接触損失（Lcontact）、法線方向制約（Lnormal）を組み合わせた共同最適化目的関数を定式化し、3D配置の最適化を実施する。
• 接触領域の接地にはConceptNetを用い、LLMの事前分布が利用できない場合にはデフォルトの接触設定を採用する。
• 初期の物体および人間の状態推定には市販の検出およびポーズ推定モデルを活用し、最適化による精練を実施する。

実験結果

リサーチクエスチョン

• RQ1 LLMから抽出した常識的知識は、手作業の接触アノテーションなしに3D推論を効果的にガイドできるか？
• RQ2 アクション条件付きモデリングは、単一画像からの3D人間-物体相互作用再構成の多様性と正確性を向上させられるか？
• RQ3 LLM由来の接触事前分布は、新しい物体カテゴリや相互作用タイプにどの程度一般化できるか？
• RQ4 最適化の各コンponent（例：Lcontact、Lnormal）が最終的な再構成品質に果たす寄与度は何か？
• RQ5 ポーズベースのアクション認識は、信頼性を持って相互作用タイプを特定でき、LLMプロンプトの条件付けに適しているか？

主な発見

• 本手法はBEHAVEデータセットにおいて最先端の性能を達成し、ベースライン手法と比較して物体再構成精度が顕著に向上した。
• アブレーションスタディの結果、接触損失（Lcontact）を除去すると物体再構成品質が著しく低下することが判明し、最適化におけるその重要性が示された。
• 法線方向損失（Lnormal）は全体の性能に僅かな寄与しか示さず、本設定では接触点の整合性が表面の向きよりも重要であることが示唆された。
• 本手法は新しいPartNet物体カテゴリに対しても効果的に一般化でき、いすに座る、傾く、立つといった多様な相互作用を正常に再構成できた。
• ユーザースタディの結果、LLM由来の事前分布は人間がアノテートした接触期待と大部分で整合しており、信頼できる知識源としての妥当性が裏付けられた。
• 失敗事例の主な原因は、物体検出の不良、初期の物体ポーズの誤り、またはアクションタイプの誤分類であり、初期化および認識精度に感受性が高いことが示された。