[論文レビュー] Visually-Augmented Language Modeling

Weizhi Wang, Dong Li+6 more|arXiv (Cornell University)|May 20, 2022

Multimodal Machine Learning Applications被引用数 5

ひとこと要約

本稿では、視覚的知識を統合することで視覚的共通知識推論を向上させる、視覚的拡張言語モデルであるVaLMを提案する。CLIPベースの画像検索モジュールと、テキスト・画像の共同注意を可能にする視覚的知識統合層を用いることで、VaLMは視覚的知識集約的タスクにおいて最先端の性能を達成し、MemoryColor、RelativeSize、ObjectShapeの各タスクでそれぞれ+14.50%、+17.80%、+11.68%の精度向上を達成した。

ABSTRACT

Human language is grounded on multimodal knowledge including visual knowledge like colors, sizes, and shapes. However, current large-scale pre-trained language models rely on text-only self-supervised training with massive text data, which precludes them from utilizing relevant visual information when necessary. To address this, we propose a novel pre-training framework, named VaLM, to Visually-augment text tokens with retrieved relevant images for Language Modeling. Specifically, VaLM builds on a novel latent text-image alignment method via an image retrieval module to fetch corresponding images given a textual context. With the visually-augmented context, VaLM uses a visual knowledge fusion layer to enable multimodal grounded language modeling by attending to both text context and visual knowledge in images. We evaluate VaLM on various visual knowledge-intensive commonsense reasoning tasks, which require visual information to excel. The experimental results illustrate that VaLM outperforms all strong language-only and vision-language baselines with substantial gains in reasoning object commonsense including color, size, and shape. Our code is available at https://github.com/Victorwz/VaLM.

研究の動機と目的

• 事前学習段階で視覚的根拠を欠いた大規模言語モデルにおける事実誤認問題を解消するため、事前学習中に視覚的知識を統合すること。
• 推論時にペaired画像・テキストデータを必要とせず、事前学習済み言語モデルが視覚的情報を効果的に活用できるようにすること。
• 文脈理解を向上させるために、テキストトークンと関連する画像を動的にアライメントする柔軟で即時のメカニズムを設計すること。
• 色・サイズ・形状といったオブジェクトの性質に関する推論を、マルチモーダル統合によって向上させること。

提案手法

• 事前学習用テキストコーパス内の各トークンに対して、k個の近傍画像を検索するCLIPベースの画像検索モジュールを用い、テキスト文脈の視覚的拡張を実現する。
• 視覚的知識統合層により、テキストトークンと取得した画像の間で共同自己注意を可能にし、画像固有の注意キーや値に対して別個の線形変換を適用する。
• 注意投影に共通の文脈的重み行列を採用し、効率性と性能向上のため画像固有のバイアスのみを追加する。
• モデルはエンドツーエンドの事前学習および微調整をサポートしており、推論時に視覚的知識を動的に統合できる。
• CLIPからキャッシュされた画像埋め込みを用いて画像検索を実行することで、統一されたテキスト・画像埋め込み空間内でスケーラブルかつ効率的な検索を実現する。
• アーキテクチャは自己回帰的言語モデルと互換性があり、エンコーダー専用またはエンコーダー・デコーダーのバックボーンにも拡張可能である。

実験結果

リサーチクエスチョン

• RQ1 視覚的共通知識の性質（色・サイズ・形状など）に関する推論を向上させるために、言語モデルを取得した画像で効果的に拡張できるか？
• RQ2 教師あり視覚・言語事前学習と比較して、即時の画像検索はゼロショット推論性能においてどのように異なるか？
• RQ3 パrameterの増加を抑えながら、視覚的特徴を言語モデルの注意メカニズムに最適に統合する方法は何か？
• RQ4 視覚的知識の統合により、言語モデルの予測における事実誤認が減少するか？
• RQ5 提案されたフレームワークは、視覚的共通知識推論に加え、一般の自然言語理解タスクの性能向上にも寄与するか？

主な発見

• MemoryColorデータセットにおいて、強力なベースラインと比較して+14.50%の絶対的な精度向上を達成し、オブジェクトの色に関する推論における顕著な改善を示した。
• RelativeSizeベンチマークでは+17.80%の向上を示し、相対的なオブジェクトサイズに関する推論性能が優れていることを裏付けた。
• ObjectShapeデータセットでは+11.68%の改善を達成し、形状関連の共通知識を効果的にモデル化できていることを示した。
• アブレーションスタディの結果、注意投影に画像固有のバイアスを導入することで、重みを共有する方法や完全な画像固有の投影を用いる方法よりも優れた性能が得られることを確認した。
• 複数の視覚的知識集約的推論タスクにおいて、言語モデルのみのものや視覚・言語事前学習済みモデルよりも優れた性能を発揮した。
• 一般の自然言語理解タスクにおいても性能向上を達成したため、視覚的共通知識の向上にとどまらず、より広範な利点が得られることを示した。