[論文レビュー] TransVG++: End-to-End Visual Grounding with Language Conditioned Vision Transformer

Jiajun Deng, Zhengyuan Yang+6 more|arXiv (Cornell University)|Jun 14, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、複雑で手作業で設計された融合モジュールの代わりに、言語条件付きビジョントランスフォーマー（LC-ViT）を用いる、完全にトランスフォーマーに基づくエンドツーエンドのビジョナライズドメインフレームワーク、TransVG++ を提案する。ビジョントランスフォーマーベースに中間層に言語ガイドドアテンションを統合することで、5つのベンチマークデータセットで最先端の性能を達成し、精度と効率性が向上した。これは、単純な自己アテンションベースの融合が、ヒューリスティックな融合機構を上回ることを示している。

ABSTRACT

In this work, we explore neat yet effective Transformer-based frameworks for visual grounding. The previous methods generally address the core problem of visual grounding, i.e., multi-modal fusion and reasoning, with manually-designed mechanisms. Such heuristic designs are not only complicated but also make models easily overfit specific data distributions. To avoid this, we first propose TransVG, which establishes multi-modal correspondences by Transformers and localizes referred regions by directly regressing box coordinates. We empirically show that complicated fusion modules can be replaced by a simple stack of Transformer encoder layers with higher performance. However, the core fusion Transformer in TransVG is stand-alone against uni-modal encoders, and thus should be trained from scratch on limited visual grounding data, which makes it hard to be optimized and leads to sub-optimal performance. To this end, we further introduce TransVG++ to make two-fold improvements. For one thing, we upgrade our framework to a purely Transformer-based one by leveraging Vision Transformer (ViT) for vision feature encoding. For another, we devise Language Conditioned Vision Transformer that removes external fusion modules and reuses the uni-modal ViT for vision-language fusion at the intermediate layers. We conduct extensive experiments on five prevalent datasets, and report a series of state-of-the-art records.

研究の動機と目的

• ビジョナライズドメインにおけるヒューリスティックで手作業で設計された融合モジュールの限界、特に特定のデータ分布に過適合し、マルチモーダルな相互作用を制限する点を是正すること。
• 複雑なアーキテクチャの代わりに、標準的なトランスフォーマーエンコーダー層のスタックを用いることで、マルチモーダル融合を簡素化し、より効果的で一般化可能な特徴学習を可能にすること。
• 外部の融合モジュールを排除し、言語条件をビジョンエンコーダーの中間層に直接統合することで、エンドツーエンドの学習が可能になり、パラメータ効率性が向上すること。
• CNN-Transformerハイブリッドアーキテクチャから完全にトランスフォーマーに基づく設計に移行することで、計算上のボトル neck を軽減し、モデルの効率性とスケーラビリティを向上させること。
• 統一的で解釈可能かつパラメータ効率的なフレームワークを用いて、複数のビジョナライズドメインベンチマークで最先端の性能を達成すること。

提案手法

• 外部の融合モジュールを必要とせず、標準的なトランスフォーマーエンコーダー層のスタックを用いて、ジョイントビジョン・ランゲージ推論を実行するエンドツーエンドのビジョナライズドメインフレームワーク、TransVG を提案する。
• ビジョントランスフォーマーベースに言語埋め込みを中間層に注入することで、複数スケールでのマルチモーダル統合を可能にする、言語条件付きビジョントランスフォーマー（LC-ViT）を導入する。
• 領域提案やアンカーボックスを回避するため、学習可能な [REG] トークンを用いてバウンディングボックス座標を直接回帰する。
• 視覚的特徴抽出のため、畳み込みベースのバックボーンに代わり、ビジョントランスフォーマー（ViT）に基づくビジョンエンコーダーを採用し、完全にトランスフォーマーに基づくアーキテクチャを実現する。
• パラメータと計算コストを削減するため、軽量な言語アダプタを採用し、全体のモデル効率性にほとんど影響を与えない。
• 全モデルがエンドツーエンドで学習可能である統一されたトレーニングパラダイムを採用し、視覚的および言語的表現の共同最適化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 標準的なトランスフォーマーエンコーダー層のスタックが、複雑で手作業で設計された融合モジュールを効果的に置き換えることができるか？
• RQ2 ビジョントランスフォーマーベースの中間層に言語条件を統合することで、マルチモーダル表現学習と局所化精度が向上するか？
• RQ3 完全にトランスフォーマーに基づくアーキテクチャが、ハイブリッドな CNN-Transformer 設計を上回り、計算コストを維持または削減できるか？
• RQ4 本手法は、複雑な参照表現を含む多様なベンチマークで、既存の最先端モデルと比較してどのように性能を発揮するか？
• RQ5 本手法で提案されたコンponents、たとえば言語アダプターや LC-ViT は、モデル効率性およびパラメータ効率性にどの程度寄与するか？

主な発見

• TransVG++ は、RefCOCO、RefCOCO+、RefCOCOg を含む5つの標準的なビジョナライズドメインベンチマークで最先端の性能を達成し、先行手法を上回った。
• TransVG++（base）では、ビジョンブランチ（LViT）が全FLOPsの97.7％を占めており、視覚的特徴処理の計算的優位性が顕著に現れている。
• 言語アダプターは、TransVG++（tiny）でたった0.92G FLOPsを追加し、言語条件付きビジョンブランチの計算の4.99％、全モデルのFLOPsの3.64％にとどまっている。
• 定性的な結果から、[REG] トークンが明確かつ解釈可能な形で参照対象オブジェクトに注目しており、TransVG++ は初期の TransVG よりも鋭く正確なアテンションマップを生成した。
• アブレーションスタディにより、複雑な融合モジュールを単純なトランスフォーマースタックに置き換えることで、多様な参照表現において高い性能とより良い一般化能力が得られることを確認した。
• 空間的関係や長文の記述といった複雑な言語構造に対しても、モデルは強い耐性を示し、挑戦的な例でも成功した局所化を達成したことが実証された。