[論文レビュー] Visual Grounding Strategies for Text-Only Natural Language Processing

Damien Sileo|arXiv (Cornell University)|Mar 25, 2021

Multimodal Machine Learning Applications参考文献 41被引用数 4

ひとこと要約

本論文は、マルチモodal事前学習を用いてテキストのみのNLPタスクを向上させるために、転送的グラウンディングと関連的グラウンディングの2つの視覚的グラウンディング戦略を提案する。プレースホルダーまたは画像検索を介して視覚信号を統合することで、言語モデリングおよび共通知識推論タスクにおける性能が向上し、特に関連的グラウンディングは多様なNLPベンチマークで一貫した向上を示す。

ABSTRACT

Visual grounding is a promising path toward more robust and accurate Natural Language Processing (NLP) models. Many multimodal extensions of BERT (e.g., VideoBERT, LXMERT, VL-BERT) allow a joint modeling of texts and images that lead to state-of-the-art results on multimodal tasks such as Visual Question Answering. Here, we leverage multimodal modeling for purely textual tasks (language modeling and classification) with the expectation that the multimodal pretraining provides a grounding that can improve text processing accuracy. We propose possible strategies in this respect. A first type of strategy, referred to as {\it transferred grounding} consists in applying multimodal models to text-only tasks using a placeholder to replace image input. The second one, which we call {\it associative grounding}, harnesses image retrieval to match texts with related images during both pretraining and text-only downstream tasks. We draw further distinctions into both strategies and then compare them according to their impact on language modeling and commonsense-related downstream tasks, showing improvement over text-only baselines.

研究の動機と目的

• 視覚的信号を用いたマルチモダリティ事前学習が、完全にテキストベースのNLPタスクの性能を向上させることを調査すること。
• 元々マルチモーダルタスク向けに設計された視覚言語モデルを、テキストのみの下流応用に適応する課題に対処すること。
• 精度、効率性、メモリ使用量の観点から、異なる視覚的グラウンディング戦略を体系的に比較すること。
• マルチモダルトランスフォーマーにおける画像表現の質と計算コストのトレードオフを評価すること。
• 視覚的グラウンディングが、テキストのみの事前学習で達成できる水準をはるかに超えて、特に共通知識推論においてテキスト理解を向上させることを実証すること。

提案手法

• 画像入力のためのプレースホルダーを用いて、テキストのみのタスクでマルチモーダルモデルをファインチューニングする「転送的グラウンディング」を提案し、テキストエンコーダーが学習した表現を保持する。
• 推論時にも外部の大規模な画像コレクションから関連する画像を検索するアソシエーションモジュールを用いて、事前学習時および推論時に画像を関連付ける「関連的グラウンディング」を導入する。
• テキストと視覚的特徴の間でクロスアテンションを実行する共通のマルチモーダルトランスフォーマーアーキテクチャを採用し、CNNから得られる領域ベースの画像表現を用いる。
• テキストおよび画像特徴の両方に対して共同マスクド言語モデリング（JMLM）を適用し、事前学習段階で両モalityに注目できるようにする。
• 関連的戦略における効率的な検索メカニズムと画像表現サイズの最適化により、メモリ使用量を削減する。
• GLUE、SuperGLUE、SentEvalといった標準的なNLPベンチマークを用いて、言語モデリングおよび共通知識推論タスクに焦点を当てて戦略を評価する。

実験結果

リサーチクエスチョン

• RQ1 画像付きのマルチモーダル事前学習が、言語モデリングやテキスト分類といったテキストのみのNLPタスクの性能を向上させられるか？
• RQ2 精度と効率性の観点から、転送的グラウンディングと関連的グラウンディングの違いは何か？
• RQ3 画像表現の質と検索精度が、下流NLPタスクの性能に与える影響は何か？
• RQ4 画像表現のサイズが、マルチモーダルトランスフォーマーにおけるメモリ使用量とモデル性能に与える影響は何か？
• RQ5 視覚的グラウンディングは、テキストのみのベースラインをはるかに超えて、共通知識推論や妥当性検出をどの程度向上させられるか？

主な発見

• 関連的グラウンディング戦略が、言語モデリング、妥当性推定、隱喩的表現検出、ディコース関係予測の全分野で最良の全体的な性能を達成した。
• 転送的グラウンディングは、推論時に画像を必要としないため、下流NLPタスクにおいて優れた結果を示した。
• オブジェクトベースの関連的グラウンディングは、画像ベースの検索よりも精度と耐性に優れ、特にゼロショットおよびフェイントショット設定で顕著な優位性を示した。
• 画像表現サイズの縮小は、メモリ効率性と性能の間で測定可能なトレードオフをもたらし、最適なバランスは小さい埋め込み次元で達成された。
• キャプション付き画像とテキストのみのコーパスの両方を用いた共同事前学習により、ドメインバイアスの低減と一般化性能の向上が図られ、画像キャプションペアのみで事前学習する場合よりも優れた結果が得られた。
• 視覚的グラウンディングは、共通知識推論タスクにおいて一貫した向上をもたらし、テキストのみの教師信号を超えて、意味的および文脈的理解を強化することが示唆された。