[論文レビュー] Neural-Logic Human-Object Interaction Detection

Liulei Li, Jianan Wei+2 more|arXiv (Cornell University)|Nov 16, 2023

Explainable Artificial Intelligence (XAI)被引用数 6

ひとこと要約

LogicHOI は、固定された人間-物体ペアの入力を、動的推論を可能にする三重項推論アテンションに置き換える、新しいトランスフォーマー基盤のHOI検出器を提案する。アフォーダンスとプロキミクスを1階論理で定式化し、連続空間に投影することで、ゼロショット一般化を向上させ、V-COCO および HICO-DET で最先端の性能を達成した。

ABSTRACT

The interaction decoder utilized in prevalent Transformer-based HOI detectors typically accepts pre-composed human-object pairs as inputs. Though achieving remarkable performance, such paradigm lacks feasibility and cannot explore novel combinations over entities during decoding. We present L OGIC HOI, a new HOI detector that leverages neural-logic reasoning and Transformer to infer feasible interactions between entities. Specifically, we modify the self-attention mechanism in vanilla Transformer, enabling it to reason over the triplet and constitute novel interactions. Meanwhile, such reasoning process is guided by two crucial properties for understanding HOI: affordances (the potential actions an object can facilitate) and proxemics (the spatial relations between humans and objects). We formulate these two properties in first-order logic and ground them into continuous space to constrain the learning process of our approach, leading to improved performance and zero-shot generalization capabilities. We evaluate L OGIC HOI on V-COCO and HICO-DET under both normal and zero-shot setups, achieving significant improvements over existing methods.

研究の動機と目的

• 既存の HOI 検出器が事前に構成された人間-物体ペアに依存するという制限を解決し、新しい組み合わせへの一般化能力を制限している点に対処する。
• 現在の手法に見られる推論能力の欠如を克服し、固定ペアに対する静的予測として扱うのではなく、動的推論として相互作用を処理する。
• 具体的には、アフォーダンスとプロキミクスを含む記号的知識をディープラーニングに統合し、より論理的かつ一般化可能な相互作用予測を実現する。
• 1階論理を用いて物理的・意味的に妥当な相互作用に制約を加えることで、ゼロショット一般化を可能にする。
• 従来の手法と比較して計算コストを低減しながらも高い性能を維持する、より効率的かつ効果的な HOI 検出フレームワークを開発する。

提案手法

• トランスフォーマーのデコーダーにおける自己アテンション機構を、人間、行動、物体の三重項クエリを処理するように変更し、3要素を同時に統合的に推論可能にする。
• 事前に定義されたペアに注目するのではなく、3要素を同時に統合して情報を集約する三重項推論アテンションを導入する。
• アフォーダンス（物体がサポートできる行動）とプロキミクス（相互作用の空間的妥当性）を1階論理制約として定式化する。
• 微分可能な関数を用いてこれらの論理的制約を連続空間に埋め込み、トランスフォーマーの学習プロセスをガイドする。
• 2つの補助損失関数 $\mathcal{L}_{v,p}$（視覚的物理的妥当性＝プロキミクス）と $\mathcal{L}_{o,p}$（物体-行動適合性＝アフォーダンス）を最適化に用いる。
• クエリのフィルタリングとデコーダー層およびクエリ数の最小化により効率性を維持し、推論速度が従来手法を上回るにもかかわらず、推論能力が向上している。

Figure 1 : Left : self-attention aggregates information across pre-composed interaction ( ) queries . Middle : in contrast, our proposed triplet-reasoning attention traverses over human ( ), action ( ), and object ( ) queries to propose plausible interactions. Right : logic-induced affordances and p

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに含まれない {人間, 行動, 物体} 三重項に対しても、トランスフォーマー基盤の HOI 検出器が一般化可能か？
• RQ2 アフォーダンスやプロキミクスといった記号的知識を、ニューラルネットワークに効果的に統合することで、推論性能とゼロショット一般化が向上するか？
• RQ3 ペアではなく三重項を推論対象とするようにアテンション機構を変更することで、性能向上と予測の解釈可能性が向上するか？
• RQ4 論理ガイド付きの制約は、誤った相関関係への依存を減らし、稀なまたは未観測の相互作用に対する耐性を高めるか？
• RQ5 記号的推論をニューラルアーキテクチャに統合する際の、モデルの複雑さ、推論速度、性能のトレードオフは何か？

主な発見

• LogicHOI は HICO-DET の全セットで 25.97 mAP の新しい最先端性能を達成し、前回の最先端と比較して 1.96 ポints 向上した。
• HICO-DET のレアカテゴリスプリットでは 15.67 mAP を達成し、前回の最先端と比較して 2.41 ポイント向上し、強力なゼロショット一般化能力を示した。
• アブレーションスタディにより、$\mathcal{L}_{v,p}$（プロキミクス）と $\mathcal{L}_{o,p}$（アフォーダンス）の両方が、特にゼロショット設定下で性能向上に顕著な寄与をしていることが確認された。
• モデルは高い効率性を維持している：ResNet-50 バックボーンを用い、デコーダー層を3層、クエリ数を32に制限した場合、16.84 FPS の推論速度を達成し、大多数の1段階検出器を上回る速度と FLOPs の効率性を示した。
• クエリ数を32以上に増やすと性能が低下するため、表現能力と最適化の安定性の最適なバランスがあることが示された。
• 論理ガイド付き学習の統合により、収束が速くなり、物理的に不適切な相互作用を推論時に排除できるなど、より妥当な予測が得られた。

Figure 2 : Overview of LogicHOI . We first retrieve human, action, and object queries by $\mathcal{D}^{h}$ , $\mathcal{D}^{a}$ , and $\mathcal{D}^{o}$ , respectively. Then $\mathcal{D}^{p}$ take them as input, reasoning over entities and combining potential interaction triplets. Finally, such proces