[論文レビュー] Shifting More Attention to Visual Backbone: Query-modulated Refinement Networks for End-to-End Visual Grounding

Jiabo Ye, Junfeng Tian+6 more|arXiv (Cornell University)|Mar 29, 2022

Multimodal Machine Learning Applications被引用数 7

ひとこと要約

本稿では、入力クエリに応じて空間的およびチャネルワイドな特徴を動的に調整するクエリに依存する動的アテンション（QD-ATT）を用いて視覚的特徴を精錬する、新しいフレームワークであるクエリモodulatedリファインメントネットワーク（QRNet）を提案する。QRNetは、5つのベンチマークで最先端の手法を上回り、ReferItGame-testでは74.61%、Flickr30k-testでは81.95%の性能を達成した。これは、クエリガイドドの視覚的特徴精錬によって、クロスモodalな整合性が向上した結果である。

ABSTRACT

Visual grounding focuses on establishing fine-grained alignment between vision and natural language, which has essential applications in multimodal reasoning systems. Existing methods use pre-trained query-agnostic visual backbones to extract visual feature maps independently without considering the query information. We argue that the visual features extracted from the visual backbones and the features really needed for multimodal reasoning are inconsistent. One reason is that there are differences between pre-training tasks and visual grounding. Moreover, since the backbones are query-agnostic, it is difficult to completely avoid the inconsistency issue by training the visual backbone end-to-end in the visual grounding framework. In this paper, we propose a Query-modulated Refinement Network (QRNet) to address the inconsistent issue by adjusting intermediate features in the visual backbone with a novel Query-aware Dynamic Attention (QD-ATT) mechanism and query-aware multiscale fusion. The QD-ATT can dynamically compute query-dependent visual attention at the spatial and channel levels of the feature maps produced by the visual backbone. We apply the QRNet to an end-to-end visual grounding framework. Extensive experiments show that the proposed method outperforms state-of-the-art methods on five widely used datasets.

研究の動機と目的

• 事前学習済みでクエリに依存しない視覚的バックボーンと、視覚的グラウンディングに必要な特定の視覚的特徴との間に生じる不一致を解消すること。
• クエリコンテキストに基づいて視覚的特徴を精錬することで、自然言語クエリと画像領域の間のクロスモダリティの整合性を向上させること。
• バックボーンアーキテクチャを変更せずに、視覚的特徴の品質を向上させる軽量でエンドツーエンドで訓練可能なモジュールを開発すること。
• 標準的なベンチマークおよび実世界のオンラインアプリケーションの両環境において、クエリモodulated特徴精錬の有効性を検証すること。

提案手法

• スイントランスフォーマーに基づく視覚的バックボーンに、新規のクエリに依存するダイナミックアテンション（QD-ATT）機構を統合したクエリモodulatedリファインメントネットワーク（QRNet）を提案する。
• QD-ATTは、クエリ埋め込みからクエリ依存の空間的およびチャネルワイドなアテンションマップを動的に計算し、複数段階の視覚的特徴マップにそれを適用して精錬する。
• アテンションマップはクエリ同士の相互作用から計算され、要素ごとの乗算によって実行され、クエリ関連の領域を強調することで視覚的特徴を再重み付けする。
• QD-ATTを各段階に適用することで、スケール間のクエリ一貫性のある特徴統合が可能となり、マルチスケール特徴統合が強化される。
• QRNetはエンドツーエンドの視覚的グラウンディングフレームワークに統合され、標準的な特徴抽出の代わりにクエリ精錬済み特徴が使用される。
• モデルは標準の検出ヘッドを用いてエンドツーエンドで訓練され、標準的な視覚的グラウンディング損失関数を最適化することで学習される。

実験結果

リサーチクエスチョン

• RQ1 クエリに依存する特徴精錬は、事前学習済みの視覚的特徴とクエリ固有の要件との間に生じる不一致を軽減することで、視覚的グラウンディングの性能を向上させることができるか？
• RQ2 クエリモodulatedアテンションは、マルチモーダルな整合性のための視覚的特徴精錬において、標準的なアテンション機構と比較してどのように優れているか？
• RQ3 QD-ATTを視覚的バックボーンの異なる段階に適用した場合、性能にどの程度の向上効果が見られるか？
• RQ4 提案された精錬機構は、多様な視覚的グラウンディングベンチマークおよび実世界の展開環境において一般化可能か？

主な発見

• QRNetは、ReferItGame-testで74.61%、Flickr30k-testで81.95%の性能を達成し、最先端の手法を上回った。
• アブレーションスタディの結果、特徴抽出段階でQD-ATTを無効化すると、ReferItGame-testで性能が3.75%低下し、QD-ATTの重要性が示された。
• QD-ATTにおける空間的アテンションとチャネルアテンションの両方が有効であり、空間的アテンションは不要な領域をフィルタリングし、チャネルアテンションはクエリコンテキストに応じて特徴の重要度を再配分する。
• マルチスケール統合においてQD-ATTを無効化した場合、ReferItGame-testで性能が2.52%低下し、特徴統合におけるQD-ATTの重要性が裏付けられた。
• オンラインA/Bテストでは、QRNetにより実世界のeコマース検索システムでノークリック率が1.47%低下し、取引数が2.20%増加した。
• 定性的な結果では、QRNetがベースラインモデルと比較して、不要な画像領域への注目を減らし、よりクエリ一貫性のある活性化マップを生成することが示された。