[論文レビュー] TMHOI: Translational Model for Human-Object Interaction Detection

Lijing Zhu, Qizhen Lan+5 more|arXiv (Cornell University)|Mar 7, 2023

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

本稿では、空間的および意味的知識を移動型知識グラフ埋め込みモデルを介して統合する、グラフベースのモデルであるTMHOIを提案する。50次元の埋め込み空間を用いて外見的特徴と関係的特徴をノード埋め込みに符号化することで、TMHOIはHICO-DETで26.95 mAPを達成し、従来のグラフベース手法を上回る最先端の性能を発揮しながら、計算効率を維持している。

ABSTRACT

Detecting human-object interactions (HOIs) is an intricate challenge in the field of computer vision. Existing methods for HOI detection heavily rely on appearance-based features, but these may not fully capture all the essential characteristics necessary for accurate detection. To overcome these challenges, we propose an innovative graph-based approach called TMGHOI (Translational Model for Human-Object Interaction Detection). Our method effectively captures the sentiment representation of HOIs by integrating both spatial and semantic knowledge. By representing HOIs as a graph, where the interaction components serve as nodes and their spatial relationships as edges. To extract crucial spatial and semantic information, TMGHOI employs separate spatial and semantic encoders. Subsequently, these encodings are combined to construct a knowledge graph that effectively captures the sentiment representation of HOIs. Additionally, the ability to incorporate prior knowledge enhances the understanding of interactions, further boosting detection accuracy. We conducted extensive evaluations on the widely-used HICO-DET datasets to demonstrate the effectiveness of TMGHOI. Our approach outperformed existing state-of-the-art graph-based methods by a significant margin, showcasing its potential as a superior solution for HOI detection. We are confident that TMGHOI has the potential to significantly improve the accuracy and efficiency of HOI detection. Its integration of spatial and semantic knowledge, along with its computational efficiency and practicality, makes it a valuable tool for researchers and practitioners in the computer vision community. As with any research, we acknowledge the importance of further exploration and evaluation on various datasets to establish the generalizability and robustness of our proposed method.

研究の動機と目的

• 既存のHOI検出手法における外見特徴のみに依存する限界を解消し、関係的および文脈的知識を捉えることを目的とする。
• HOI検出におけるトランスフォーマーに基づくモデルの高い計算コストを克服し、より効率的なグラフベースの代替手法を導入することを目的とする。
• 空間的および意味的関係をモデル化する知識グラフ埋め込みを用いて事前知識を統合することで、検出精度を向上させることを目的とする。
• モデルの表現力と計算効率のバランスを取ることで、実世界の応用における実用的導入を可能にすることを目的とする。
• 移動型知識グラフモデルがHOI検出タスクにおけるノード表現の向上に有効であることを実証することを目的とする。

提案手法

• 人間および物体のインスタンスをノードとし、空間的関係をエッジとする知識グラフを構築する。
• 人間-物体ペア間の空間的レイアウト特徴を抽出する空間エンコーダと、視覚的および文脈的意味を処理する意味的エンコーダを用いる。
• 関係固有の超平面を用いて、関係を低次元ベクトル空間に埋め込む移動モデル（例：TransEスタイル）を採用する。
• 要素ごとの連結または残差接続を用いて、外見特徴と関係埋め込みを組み合わせ、強化されたノード表現を形成する。
• HICO-DETデータセット上でマルチラベル分類損失を用いてエンドツーエンドでモデルを学習し、mAPを最適化する。
• 表現力と過学習のバランスを取るために、最適な埋め込み次元（k=50）を特定するためのアブレーションスタディを実施する。

実験結果

リサーチクエスチョン

• RQ1 移動型知識グラフ埋め込みモデルは、人間-物体インタラクション検出において関係的知識を効果的に捉えることができるか？
• RQ2 グラフベースの符号化により空間的および意味的特徴を統合することで、外見特徴のみのベースラインと比較してHOI検出性能がどのように向上するか？
• RQ3 このHOI検出設定における移動型モデルの最適な埋め込み次元は何か？
• RQ4 提案手法は、従来のグラフベースおよびトランスフォーマーに基づくHOI検出器と比較して、より高い精度と効率を達成できるか？
• RQ5 関係的インダクティブバイアスを組み込むことで、レアおよびノンレアなインタラクションタイプに一般化できるか？

主な発見

• TMHOIはHICO-DETデータセットで26.95 mAPを達成し、先行する最先端のグラフベース手法を上回っている。
• アブレーションスタディにより、k=50の埋め込みサイズが表現力と一般化性能のバランスを最適化する最良の選択であると確認された。
• 移動型関係埋め込みを含まないモデルは著しく性能が低下し、mAPがほぼ1ポイント低下するなど、関係的特徴の重要性が顕著に示された。
• 空間的、意味的、関係的表現の共同最適化により、ノード埋め込みとエッジ埋め込みの整合性が向上した。
• トランスフォーマーに基づくモデルと比較して計算効率を維持しており、実世界の導入に適している。
• 稀なインタラクション（21.28 mAP）および非稀なインタラクション（28.56 mAP）の両方で強力な性能を発揮し、インタラクションタイプ全体にわたる頑健性が示された。