[論文レビュー] Relationformer: A Unified Framework for Image-to-Graph Generation

Suprosanna Shit, Rajat Koner+9 more|Zurich Open Repository and Archive (University of Zurich)|Mar 19, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

Relationformer は、物体関係相互作用を統合的にモデル化する学習可能 [rln]-トークンを導入した、エンドツーエンドの画像からグラフへの生成を目的とした統合的ワンステージ変換器ベースのフレームワークを提案する。[obj]-トークンと [rln]-トークンを統合して、同時に物体検出と関係予測を実行することで、道路網、血管、シーングラフを含む多様なデータセットで最先端の性能を達成し、2段階ベースラインと比較して精度、速度、パラメータ効率の面で優れている。

ABSTRACT

A comprehensive representation of an image requires understanding objects and their mutual relationship, especially in image-to-graph generation, e.g., road network extraction, blood-vessel network extraction, or scene graph generation. Traditionally, image-to-graph generation is addressed with a two-stage approach consisting of object detection followed by a separate relation prediction, which prevents simultaneous object-relation interaction. This work proposes a unified one-stage transformer-based framework, namely Relationformer, that jointly predicts objects and their relations. We leverage direct set-based object prediction and incorporate the interaction among the objects to learn an object-relation representation jointly. In addition to existing [obj]-tokens, we propose a novel learnable token, namely [rln]-token. Together with [obj]-tokens, [rln]-token exploits local and global semantic reasoning in an image through a series of mutual associations. In combination with the pair-wise [obj]-token, the [rln]-token contributes to a computationally efficient relation prediction. We achieve state-of-the-art performance on multiple, diverse and multi-domain datasets that demonstrate our approach's effectiveness and generalizability.

研究の動機と目的

• 物体検出と関係予測を分離する2段階の画像からグラフへの生成パイプラインの限界を解消すること。これにより誤差の伝搬や非効率が生じる。
• 物体とその関係の両方を1つのモデルで同時に、エンドツーエンドで学習可能にし、相互の文脈や共起性を活用して推論性能を向上させること。
• 物体間の相関関係を捉え、関係予測のためのグローバルな意味的認識を高める、新しい学習可能 [rln]-トークンを導入すること。
• 手動で設計された特徴量や複数段階のモジュールを排除することで、トレーニングと推論のパイプラインを簡素化し、効率性とスケーラビリティを向上させること。
• 2次元/3次元の構造的グラフや意味的シーングラフを含む多様な分野への汎用性と有効性を実証すること。

提案手法

• DETRに基づく統合的ワンステージ変換器アーキテクチャを提案し、物体検出に学習可能 [obj]-トークンを、関係モデリングに新規 [rln]-トークンを用いる。
• [rln]-トークンを、物体ペアに注目し、マルチヘッド自己注意機構を通じてグローバルな意味的・空間的関係を捉える学習可能クエリとして導入する。
• [obj]-[rln]-[obj] トリプレットを用いてペアワイズ関係を予測し、物体とその関係の間で統合的表現学習を可能にする。
• 非最大抑制を用いないセットベースの予測ヘッドとバイパートマッチングを採用し、物体および関係出力をエンドツーエンドで予測する。
• [rln]-トークンと [obj]-トークン間のマルチヘッドクロスアテンションを活用し、すべての物体が関係に特化した特徴に注目できるようにする。
• クエリに依存しない検出ヘッドと、入力画像の文脈に適応可能な学習可能 [rln]-トークンを用いて、エンドツーエンドでモデルをトレーニングする。

実験結果

リサーチクエスチョン

• RQ1 統合的ワンステージ変換器フレームワークは、2段階パイプラインを上回る性能で、画像からグラフへの生成において物体とその関係を同時に予測できるか？
• RQ2 学習可能 [rln]-トークンの導入により、物体の共起性や相互依存性のモデリングがどのように向上するか？
• RQ3 [rln]-トークンは、多様な画像からグラフへのタスクにおける関係予測性能にどのような影響を与えるか？
• RQ4 [rln]-トークンは、従来の2段階または特徴ベースのアプローチと比較して、より優れた汎用性と効率性を実現できるか？
• RQ5 トレーニングデータ量の変化が、エンドツーエンドのグラフ生成における [rln]-トークンの性能に与える影響は何か？

主な発見

• Relationformer は、道路網、血管、シーングラフ生成ベンチマークで最先端の性能を達成し、既存の2段階手法を上回っている。
• Visual Genome データセットでは、[rln]-トークンとMLPヘッドを搭載したRelationformerが、mAP@100で31.3%を達成し、[rln]-トークンを搭載しないベースラインと比較して2.9%の向上を示した。
• 3次元の合成血管グラフ生成では、[rln]-トークンと100%のトレーニングデータを用いたRelationformerが、エッジ検出でmAR 84.3%を達成し、def-DETRベースラインと比較して1.8%の向上を示した。
• アブレーション実験では、[rln]-トークンが関係予測性能を顕著に向上させ、特にMLPヘッドと組み合わせた場合に顕著で、複雑な意味的関係のモデリングにおけるその役割が示された。
• モデルは優れた汎用性を示し、トレーニングデータ量が増加するにつれて性能が一貫して向上する傾向を示しており、より多くのデータでスケーラブルであることが示唆された。
• 2段階パイプラインと比較して、モデルの複雑さと推論時間が削減され、パラメータ数も少なく、エネルギー消費も少ない。