[論文レビュー] Visual Grounding with Transformers

Ye Du, Zehua Fu+2 more|arXiv (Cornell University)|May 10, 2021

Multimodal Machine Learning Applications被引用数 8

ひとこと要約

本稿では、事前学習済みオブジェクト検出器や言語モデルに依存しない、エンドツーエンドのトランスフォーマー基盤フレームワークであるVGTRを提案する。テキストガイドド自己注意機構を導入することで、言語意味論と整合する文脈に適した視覚的特徴を学習し、4つのベンチマークで最先端の性能を達成した。提案手法は、先行のプロポーザルフリー手法と比較して顕著な性能向上を示し、Flickr30K Entitiesでは4.89%の精度向上を達成した。

ABSTRACT

In this paper, we propose a transformer based approach for visual grounding. Unlike previous proposal-and-rank frameworks that rely heavily on pretrained object detectors or proposal-free frameworks that upgrade an off-the-shelf one-stage detector by fusing textual embeddings, our approach is built on top of a transformer encoder-decoder and is independent of any pretrained detectors or word embedding models. Termed VGTR -- Visual Grounding with TRansformers, our approach is designed to learn semantic-discriminative visual features under the guidance of the textual description without harming their location ability. This information flow enables our VGTR to have a strong capability in capturing context-level semantics of both vision and language modalities, rendering us to aggregate accurate visual clues implied by the description to locate the interested object instance. Experiments show that our method outperforms state-of-the-art proposal-free approaches by a considerable margin on five benchmarks while maintaining fast inference speed.

研究の動機と目的

• 事前学習済み検出器に依存する提案・ランク方式や、文脈モデリングが不十分であるとされるプロポーザルフリー方式の限界を是正すること。
• オブジェクト検出器や事前学習済み言語モデルに依存しないエンドツーエンドの視覚的グランドリングフレームワークを構築すること。
• 新しい注意メカニズムにより、言語意味論に従ってガイドされた特徴を学習することで、局所化精度を向上させること。
• 二重ストリームのトランスフォーマーアーキテクチャを用いて、視覚的特徴と言語的特徴を統合的に推論することで、強力なクロスマodal理解を実現すること。

提案手法

• VGTRは4モジュール構造を採用する：視覚的・言語的エンコーダー（トークン化用）、二重ストリームのグランドリングエンコーダー（クロスマodal相互作用用）、テキストトークンをクエリとして使用するグランドリングデコーダー、およびバウンディングボックス回帰ヘッド。
• 主な革新点はテキストガイドド自己注意機構であり、視覚ストリームの標準的自己注意を置き換えることで、空間的局所化を損なわずに言語的文脈と視覚的特徴を整合させる。
• 候補領域の生成を回避するため、画像・テキストペアから直接バウンディングボックス座標を回帰することでエンドツーエンド学習を実現する。
• 視覚的特徴と言語的特徴の間のクロスアテンションにより、統合的推論と文脈レベルの意味的整合性が可能になる。
• グランドリングデコーダーは、クエリに該当する視覚的トークンに動的に注目し、言語的記述に基づいて特徴表現を精緻化する。
• バウンディングボックス座標の標準回帰損失を用いてエンドツーエンドで学習することで、局所化性能の直接最適化が可能になる。

実験結果

リサーチクエスチョン

• RQ1 事前学習済みオブジェクト検出器や言語モデルに依存しないトランスフォーマー基盤の視覚的グランドリングモデルは、最先端の性能を達成できるか？
• RQ2 テキストガイドド自己注意機構は、視覚的特徴を言語的意味論と整合させるために、視覚的特徴学習をどの程度効果的に向上させられるか？
• RQ3 エンドツーエンドでプロポーザルフリーなトランスフォーマー枠組みは、既存のプロポーザルフリーおよびプロポーザルベースの手法を上回る性能を発揮するか？
• RQ4 統合的クロスマodal推論は、複雑または曖昧な指し示し表現において、局所化精度をどの程度向上させるか？

主な発見

• Flickr30K Entitiesでは、ResNet50を用いたVGTRがReSC-Largeを4.89%の精度向上で上回り、最も強力なプロポーザルフリーベースラインを大きく上回ることを示した。
• RefCOCOでは、ResNet101を用いたVGTRが検証セットで78.70%の精度を達成し、検証セットでReSC-Largeを1.67%、testBセットで2.08%上回った。
• アブレーションスタディにより、テキストガイドド自己注意機構が極めて重要であることが確認され、RefCOCOにおける精度が79.24%から82.09%に上昇した。これは、文脈に適した特徴学習の有効性を裏付けている。
• N=2層のモデルが最適な性能を示し、ある深さを超えると利得が減少することが示された。したがって、N=2がデフォルトとして選択された。
• 定性的な分析から、VGTRは背景にあるオブジェクト、目立たないインスタンス、複雑なシーン内のオブジェクトの局所化において優れた性能を発揮しており、従来のモデルが失敗するケースでも優位性を示した。
• 失敗事例の多くは「not」のような否定の解釈ミスに起因しており、言語における論理的否定の理解に限界があることが示唆された。