[論文レビュー] REVEAL: Retrieval-Augmented Visual-Language Pre-Training with Multi-Source Multimodal Knowledge Memory

Ziniu Hu, Ahmet İşcen+7 more|arXiv (Cornell University)|Dec 10, 2022

Multimodal Machine Learning Applications被引用数 4

ひとこと要約

ReVeaLは、画像-テキストペア、知識グラフ、Wikipediaの要約など多様なソースから統合されたマルチモodalなメモリを事前学習することで、効率的な検索と生成を可能にするエンド・ツー・エンドのリトリーブ拡張型視覚言語モデルを提案する。注意に基づく統合機構を用いてリトリーバーとジェネレーターを同時に学習することで、ReVeaLは、従来の手法よりもはるかに少ないパラメータで、OKVQAで59.1%の精度を達成し、最先端の性能を実現した。

ABSTRACT

In this paper, we propose an end-to-end Retrieval-Augmented Visual Language Model (REVEAL) that learns to encode world knowledge into a large-scale memory, and to retrieve from it to answer knowledge-intensive queries. REVEAL consists of four key components: the memory, the encoder, the retriever and the generator. The large-scale memory encodes various sources of multimodal world knowledge (e.g. image-text pairs, question answering pairs, knowledge graph triplets, etc) via a unified encoder. The retriever finds the most relevant knowledge entries in the memory, and the generator fuses the retrieved knowledge with the input query to produce the output. A key novelty in our approach is that the memory, encoder, retriever and generator are all pre-trained end-to-end on a massive amount of data. Furthermore, our approach can use a diverse set of multimodal knowledge sources, which is shown to result in significant gains. We show that REVEAL achieves state-of-the-art results on visual question answering and image captioning.

研究の動機と目的

• 世界の知識が更新された際に、大規模な視覚言語モデルが再トレーニングを必要とすることになるという限界を是正すること。
• モデルパラメータから知識の保存を分離することで、効率的でスケーラブルかつ動的知識検索を可能にすること。
• 多様なマルチモーダル知識ソースを活用することで、知識集約型の視覚言語タスクのパフォーマンスを向上させること。
• リトリーバーとジェネレーターの共同最適化を可能にする微分可能でエンド・ツー・エンドのトレーニングパラダイムを構築すること。
• モデルパラメータの再トレーニングなしに、外部メモリのみを変更することで、知識の迅速な更新を可能にすること。

提案手法

• モデルは統合エンコーダーを用いて、画像-テキストペア、Wikipediaの要約、知識グラフの三元組といった多様なマルチモーダル知識ソースを、共有されたメモリ空間に埋め込む。
• リトリーバー・モジュールは、マルチモーダルなクエリ埋め込みを用いて、微分可能な注目ベースの統合機構を介して、メモリ内から最も関連性の高い知識エントリを検索する。
• 注目統合層は、リトリーブスコアを直接自己注意機構に統合することで、リトリーバーを介したバックプロパゲーションをエンド・ツー・エンドで可能にする。
• ジェネレーターは、入力クエリと取得した知識を統合して、答えやキャプションを生成し、言語モデリングの目的関数に基づいて学習される。
• 記憶領域、エンコーダー、リトリーバー、ジェネレーターの全モジュールが、複数の知識ソースを含む大規模な画像-テキストコーパス上で一括して事前学習される。
• 知識の更新は、モデルパラメータを再トレーニングせずに、メモリのみを変更することで可能であり、動的適応が可能になる。

Figure 2 : The overall workflow of R e V ea L consists of four main steps: (a) encode a multimodal input into a sequence of token embeddings and a summarized query embedding; (b) encode each knowledge entry from different corpus into unified key and value embedding pairs, where key is used to index

実験結果

リサーチクエスチョン

• RQ1 リトリーブ拡張型の視覚言語モデルは、知識集約型の視覚質問応答および画像キャプションタスクで最先端のパフォーマンスを達成できるか？
• RQ2 リトリーバーとジェネレーターをエンド・ツー・エンドで事前学習することで、固定化または蒸留ベースの手法よりも優れた検索および生成性能が得られるか？
• RQ3 統合されたマルチモーダルメモリは、テキスト、画像、知識グラフなどの多様な知識ソースを効果的に統合し、推論性能を向上させることができるか？
• RQ4 モデルパラメータの再トレーニングなしに、新しいまたは更新された知識に効率的に適応できるか？
• RQ5 注目統合機構は、独立した検索スコアリングと比較して、検索品質と下流タスクの精度を向上させるか？

主な発見

• ReVeaLは、OKVQAベンチマークで59.1%の新しい最先端の精度を達成し、従来の手法を顕著に上回った。
• 以前の最先端手法と比較して、パラメータ数が1桁少ないにもかかわらず、この結果を達成しており、高いパラメータ効率性を示した。
• 注目統合手法は、WITデータセットでトップ10で72.6%、トップ100で89.4%のリトリーブ精度を達成し、Attention Distill や Perplexity Distill などのベースライン手法を上回った。
• メモリから知識を削除した場合、モデルの精度は45.1%に低下したが、再導入後は51.8%まで回復した。これは、再トレーニングなしに知識の更新に適応できる能力を裏付けた。
• 提案手法の計算コスト（120 GFLOPs）は、Attention Distillと同等の水準であり、EMDR2 や Perplexity Distill よりも顕著に低いことが示され、高い効率性を示した。
• 多様なマルチモーダル知識ソースをメモリに統合することで、モデルは強力な汎化性能と頑健性を示し、性能向上を達成した。

Figure 3 : Detailed procedure of attentive knowledge fusion module. We inject retrieval probability as a prior to knowledge token embeddings, so the retriever can receive gradients via back-propagating over {self/cross}-attention part.