[論文レビュー] Single-Stage Visual Relationship Learning using Conditional Queries

Alakh Desai, Tz-Ying Wu+2 more|arXiv (Cornell University)|Jun 9, 2023

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、条件付きクエリを用いて述語検出とエンティティ検出を分離することで、モデルの複雑さを低減し、エンドツーエンド学習を可能にする単段階の視覚的関係検出モデル、TraCQを提案する。非組み合わせ的述語空間から学習し、条件付きクエリ機構を活用することで、最先端の単段階モデルと比較して20%少ないパラメータを実現し、視覚的グラフのベンチマークであるVisual Genomeで多くの二段階手法を上回る性能を達成するとともに、より高速な推論を実現した。

ABSTRACT

Research in scene graph generation (SGG) usually considers two-stage models, that is, detecting a set of entities, followed by combining them and labeling all possible relationships. While showing promising results, the pipeline structure induces large parameter and computation overhead, and typically hinders end-to-end optimizations. To address this, recent research attempts to train single-stage models that are computationally efficient. With the advent of DETR, a set based detection model, one-stage models attempt to predict a set of subject-predicate-object triplets directly in a single shot. However, SGG is inherently a multi-task learning problem that requires modeling entity and predicate distributions simultaneously. In this paper, we propose Transformers with conditional queries for SGG, namely, TraCQ with a new formulation for SGG that avoids the multi-task learning problem and the combinatorial entity pair distribution. We employ a DETR-based encoder-decoder design and leverage conditional queries to significantly reduce the entity label space as well, which leads to 20% fewer parameters compared to state-of-the-art single-stage models. Experimental results show that TraCQ not only outperforms existing single-stage scene graph generation methods, it also beats many state-of-the-art two-stage methods on the Visual Genome dataset, yet is capable of end-to-end training and faster inference.

研究の動機と目的

• エンティティ候補の全組み合わせを想定する二段階の視覚的関係検出モデルの非効率性と複雑さを解消すること。
• 組み合わせ的エンティティペア分布を避けることで、既存の単段階モデルの計算およびパラメータのオーバーヘッドを低減すること。
• 条件付きクエリによる述語とエンティティ検出の学習の分離によって、単段階のSGGにおけるエンドツーエンド学習を可能にすること。
• 相互作用特徴と述語分類の共同モデリングにより性能を向上させるとともに、特徴の混合を最小限に抑えること。

提案手法

• エンティティと述語検出を条件付きクエリによって分離することで、マルチタスク学習を回避する単段階のシーングラフ生成の新しい定式化を導入する。
• DETRベースのエンコーダデコーダアーキテクチャを採用し、相互作用特徴（f_i）と述語分類（f_p）を共同で学習する述語検出ブランチ（H）を設ける。
• 条件付きクエリを用いてエンティティ精緻化モジュール（C）を述語予測に条件づけることで、有効なエンティティラベル空間を縮小し、効率的な推論を実現する。
• 述語ブランチが緩い主語および目的語のバウンディングボックス推定を予測するように強制することで、述語とエンティティ学習の弱い結合を確保する。
• 標準的な単段階アプローチと比較して、モデルのパラメータ数を顕著に削減できる非組み合わせ的分布空間を述語学習に活用する。
• エンティティ精緻化が述語予測に条件づけられる構造を採用することで、外部オブジェクト検出器の必要性を回避し、エンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 エンドツーエンド学習と高速な推論を維持しながら、二段階手法を上回る性能を達成できる単段階の視覚的関係検出モデルは構築可能か？
• RQ2 エンドツーエンドのSGGにおいて、エンティティペアの組み合わせの爆発的増加を性能を損なわずに回避する方法は何か？
• RQ3 条件付きクエリによる述語とエンティティ検出の分離が、モデルの効率性と精度に与える影響は何か？
• RQ4 相互作用特徴と述語分類の共同学習は、完全に分離されたデコーダーよりも性能を向上させるか？
• RQ5 予測のための分布空間を縮小することで、SGGモデルにおけるパラメータ効率性はどの程度向上するか？

主な発見

• TraCQはVisual Genomeデータセットで最先端の性能を達成し、単段階モデルであるにもかかわらず、多くの既存の二段階手法を上回った。
• 述語ブランチで学習する非組み合わせ的分布空間のおかげで、最先端の単段階モデルと比較して20%少ないパラメータを実現した。
• 二段階パイプラインの排除と検索空間の縮小のおかげで、エンドツーエンド学習が可能になり、二段階ベースラインより高速な推論を達成した。
• 条件付きクエリ機構はエンティティラベル空間を効果的に縮小し、精度を損なわせることなく推論効率を向上させた。
• 述語ブランチにおける相互作用特徴と述語分類の共同学習は、完全に分離されたデコーダーよりも優れた性能をもたらした。
• 実験的結果から、提案された定式化が一般化性能を顕著に向上させるとともに、モデルの複雑さを低減しながらも、視覚的関係検出の高精度を維持できることを確認した。