[論文レビュー] RelTR: Relation Transformer for Scene Graph Generation

Yuren Cong, Michael Ying Yang+1 more|arXiv (Cornell University)|Jan 27, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

この論文では、視覚的外観のみを用いて固定された数の主語-述語-目的語の三つ組を直接予測する、Transformerエンコーダ・デコーダアーキテクチャに基づく一段階的エンドツーエンドのシーングラフ生成モデル、RelTRを提案する。主語と目的語のクエリを連携させ、IoUに基づく二部マッチングを用いたセット予測損失を活用することで、RelTRはVisual Genome、Open Images V6、VRDの各データセットで最先端の性能を達成し、二段階手法よりも高速な推論と少ないパラメータ数を実現した。

ABSTRACT

Different objects in the same scene are more or less related to each other, but only a limited number of these relationships are noteworthy. Inspired by DETR, which excels in object detection, we view scene graph generation as a set prediction problem and propose an end-to-end scene graph generation model RelTR which has an encoder-decoder architecture. The encoder reasons about the visual feature context while the decoder infers a fixed-size set of triplets subject-predicate-object using different types of attention mechanisms with coupled subject and object queries. We design a set prediction loss performing the matching between the ground truth and predicted triplets for the end-to-end training. In contrast to most existing scene graph generation methods, RelTR is a one-stage method that predicts a set of relationships directly only using visual appearance without combining entities and labeling all possible predicates. Extensive experiments on the Visual Genome and Open Images V6 datasets demonstrate the superior performance and fast inference of our model.

研究の動機と目的

• すべてのオブジェクト候補間の密な関係を予測する二段階手法の非効率性と高いパラメータ数を是正すること。
• 事前アノテートされたオブジェクト候補や全組み合わせの述語分類に依存せずに、視覚的外観のみを用いてスパースで意味のあるシーングラフを直接エンドツーエンドで予測すること。
• 訓練中に予測された三つ組を正例と一致させるために、IoUに基づく二部マッチングを用いたセット予測損失を設計すること。
• 三つ組デコーダにおける分離されたエンティティアテンションにより、主語と目的語の局所化および分類を向上させること。
• 視覚のみに依存する一段階的アプローチが、より高速な推論とモデル複雑性の低減を伴いながらも最先端の性能を達成できることを示すこと。

提案手法

• RelTRは、エンコーダが視覚特徴を処理し、デコーダが結合された主語および目的語クエリを用いて固定サイズの三つ組を生成する、エンコーダ・デコーダ型のTransformerアーキテクチャを採用する。
• 三つ組デコーダは、マルチヘッドアテンション機構を用いて、グローバルな画像コンテキストおよびエンティティ間の共起を推論し、主語、目的語、述語を同時に予測可能にする。
• 正例と予測三つ組の間で二部マッチングを実行する、新しいセット予測損失を導入し、交差領域（IoU）を用いて最適な予測を割り当てる。
• デコーダにおける分離されたエンティティアテンションにより、主語および目的語の表現に別々に注目することで、主語および目的語の局所化と分類が向上する。
• 事前アノテートされたオブジェクト候補やすべてのペアに対する関係ラベル付けを必要とせず、視覚的外観のみを用いてエンドツーエンドで学習する。
• フレームワークは実装が単純であり、コードおよび事前学習済みモデルを公開している。

実験結果

リサーチクエスチョン

• RQ1 二段階的検出パイプラインに依存せずに、視覚的外観のみを用いて、スパースで意味のあるシーングラフを一括でエンドツーエンドで直接生成できるか？
• RQ2 訓練中に正例三つ組をモデルの予測に割り当てる際、IoUに基づく二部マッチング戦略はどの程度効果的か？
• RQ3 主語と目的語のクエリを連携させ、アテンションを分離することで、シーングラフ生成における局所化および関係予測の精度はどの程度向上するか？
• RQ4 視覚のみに依存する一括アプローチは、既存の二段階的SGGモデルと比較して、正確性、推論速度、パラメータ効率の面で優れているか？
• RQ5 学習された主語および目的語クエリはどのように振る舞い、関連する関係を捉えるために果たす役割は何か？

主な発見

• RelTRはVisual Genome、Open Images V6、VRDの各データセットで最先端の性能を達成し、二段階的手法よりも正確性と推論速度の両面で優れている。
• Visual Genomeでは、9つの予測で平均リCALLが41.7％（R@9）を達成しており、低頻度の空間的関係（例：'in front of'）を正しく予測する質的結果が得られている。
• 一部の正例アノテーションバイアス（例：欠落や重複する三つ組）が存在しても、RelTRは強固な性能を維持しており、データセットのノイズに強いことが示された。
• Open Images V6では、平均して1画像あたり2.8個の三つ組しかアノテートされていないが、RelTRは高品質で信頼性の高い三つ組候補を生成しており、より単純で大規模なシナリオへの一般化能力が優れていることが示された。
• 分離されたエンティティアテンションにより、主語および目的語の表現の質が向上し、局所化と分類が改善された。
• アブレーションスタディにより、IoUに基づくマッチングを用いたセット予測損失が性能向上に不可欠であることが確認され、注目マップによりモデルの挙動が注目領域を明確に示す解釈可能性を示した。