[論文レビュー] RelViT: Concept-guided Vision Transformer for Visual Relational Reasoning

Xiaojian Ma, Weili Nie+6 more|arXiv (Cornell University)|Apr 24, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、概念特徴辞書を導入して概念誘導型のグローバルおよびローカル補助タスクを可能にする、視覚的関係的推論を向上させる概念誘導型ビジョントランスフォーマー、RelViTを提案する。この手法はHICOおよびGQAベンチマークで顕著な性能向上を達成し、オリジナルスプリットではそれぞれ16%および13%の向上を達成し、体系的一般化スプリットではそれぞれ43%および18%の向上を達成した。

ABSTRACT

Reasoning about visual relationships is central to how humans interpret the visual world. This task remains challenging for current deep learning algorithms since it requires addressing three key technical problems jointly: 1) identifying object entities and their properties, 2) inferring semantic relations between pairs of entities, and 3) generalizing to novel object-relation combinations, i.e., systematic generalization. In this work, we use vision transformers (ViTs) as our base model for visual reasoning and make better use of concepts defined as object entities and their relations to improve the reasoning ability of ViTs. Specifically, we introduce a novel concept-feature dictionary to allow flexible image feature retrieval at training time with concept keys. This dictionary enables two new concept-guided auxiliary tasks: 1) a global task for promoting relational reasoning, and 2) a local task for facilitating semantic object-centric correspondence learning. To examine the systematic generalization of visual reasoning models, we introduce systematic splits for the standard HICO and GQA benchmarks. We show the resulting model, Concept-guided Vision Transformer (or RelViT for short) significantly outperforms prior approaches on HICO and GQA by 16% and 13% in the original split, and by 43% and 18% in the systematic split. Our ablation analyses also reveal our model's compatibility with multiple ViT variants and robustness to hyper-parameters.

研究の動機と目的

• 現実世界のデータセットにおける視覚的関係的推論の体系的一般化の課題に取り組む。
• インダクティブバイアスとしての概念（物体および関係）を活用してビジョントランスフォーマーの性能を向上させる。
• アーキテクチャの変更なしに、より良いオブジェクト中心および関係的表現学習を可能にする。
• 既存のViT学習パイプラインと互換性があるプラグアンドプレイフレームワークを構築し、推論性能を向上させる。
• HICOおよびGQA用に新規に定義された体系的スプリットを用いて、新しい物体-関係の組み合わせにおける一般化を評価する。

提案手法

• キーワードに概念（例：物体ラベル）を、値にその概念を共有する画像特徴のキューを有する概念特徴辞書を導入する。
• 訓練中に柔軟かつ概念ベースの画像特徴の検索を可能にするために、この辞書を活用する。
• 同じ概念を持つ画像をクラスタリングするグローバルな概念誘導タスクを設計し、意味的に一貫した関係的表現を促進する。
• 同じ概念の画像間で意味的対応関係を学習するローカルな概念誘導タスクを設計し、オブジェクト中心の学習を強化する。
• 両方の補助タスクを、特徴キューの更新に指数移動平均（EMA）を用いてViT学習パイプラインに統合する。
• アーキテクチャの変更なしに、標準的なViTバックボーンにこの手法を適用可能にし、プラグアンドプレイでの導入を実現する。

実験結果

リサーチクエスチョン

• RQ1 概念誘導型補助タスクは、ビジョントランスフォーマーにおける視覚的関係的推論を向上させることができるか？
• RQ2 概念特徴辞書は、より良い特徴の検索と表現学習をどのように可能にするか？
• RQ3 提案手法は、現実世界の視覚的推論ベンチマークにおける体系的一般化の面でどの程度向上を達成するか？
• RQ4 異なるViTバリアントにおいて、RelViTは先行手法と比較して性能と頑健性の面で優れているか？
• RQ5 HICOやGQAといった標準的なベンチマークに、アーキテクチャの変更なしに効果的に適用可能か？

主な発見

• RelViTは、オリジナルのHICOベンチマークスプリットにおいて、最良のベースライン比で16%の絶対的向上を達成した。
• HICOの新しい体系的一般化スプリットでは、最良のベースライン比で43%の向上を達成した。
• GQAベンチマークのオリジナルスプリットでは、最良のベースライン比で13%の向上を達成した。
• GQAの体系的一般化スプリットでは、最良のベースライン比で18%の向上を達成した。
• アブレーションスタディにより、グローバルおよびローカルの両補助タスクが性能向上に顕著に寄与することが確認された。
• 本手法は複数のViTバリアントと強く相性が良く、ハイパーパrameterの設定に対しても頑健であることが示された。