[論文レビュー] The Web Can Be Your Oyster for Improving Large Language Models

Junyi Li, Tianyi Tang+4 more|arXiv (Cornell University)|May 18, 2023

Topic Modeling被引用数 5

ひとこと要約

本稿では、最新で包括的な知識を動的に取得できるGoogle検索を活用して大規模言語モデル（LLMs）を強化する統合的でウェブ拡張型のフレームワーク、UniWebを提案する。本研究では、ノイズの多い検索結果を低減するための適応的検索エンジン支援学習と、取得したウェブコンテンツをモデル内知識と整合させる継続的知識学習を導入し、16の知識集約的タスクにおいて、先行する検索拡張手法を著しく上回る性能を示した。

ABSTRACT

Large language models (LLMs) encode a large amount of world knowledge. However, as such knowledge is frozen at the time of model training, the models become static and limited by the training data at that time. In order to further improve the capacity of LLMs for knowledge-intensive tasks, we consider augmenting LLMs with the large-scale web using search engine. Unlike previous augmentation sources (e.g., Wikipedia data dump), the web provides broader, more comprehensive and constantly updated information. In this paper, we present a web-augmented LLM UNIWEB, which is trained over 16 knowledge-intensive tasks in a unified text-to-text format. Instead of simply using the retrieved contents from web, our approach has made two major improvements. Firstly, we propose an adaptive search engine assisted learning method that can self-evaluate the confidence level of LLM's predictions, and adaptively determine when to refer to the web for more data, which can avoid useless or noisy augmentation from web. Secondly, we design a pretraining task, i.e., continual knowledge learning, based on salient spans prediction, to reduce the discrepancy between the encoded and retrieved knowledge. Experiments on a wide range of knowledge-intensive tasks show that our model significantly outperforms previous retrieval-augmented methods.

研究の動機と目的

• 静的で古くなった知識の限界を解消するため、ウェブから動的で最新の情報を統合することにより、大規模言語モデル（LLMs）の知識を向上させること。
• Wikipediaのような静的知識ソースに依存を減らし、それが不完全でリアルタイムで更新されないことを目的とする。
• 多様な知識集約的タスクに効果的にウェブ検索を活用できる統合的でマルチタスクのフレームワークを開発すること。
• 新たな事前学習タスクを用いて、モデルに内蔵された知識とウェブから取得した知識の間の乖離を最小限に抑えること。
• ノイズを避けて信頼性を向上させるために、信頼度に基づく選択的ウェブ検索を可能にすること。

提案手法

• 16の多様な知識集約的タスクを統一したテキスト・ツー・テキスト形式を採用し、一括学習を可能にする。
• 予測の信頼度が低い場合にのみウェブ検索をトリガーする適応的検索エンジン支援学習法を実装し、エントロピーに基づく自己評価を用いる。
• 広範かつリアルタイムで包括的なウェブコンテンツにアクセスできる商用検索エンジン（Google検索）を検索エンジンとして採用する。
• 外部知識と内部表現を整合させるために、取得したウェブドキュメントの重要度が示されたマスクされたスパンを予測するという、『継続的知識学習』と呼ばれる事前学習タスクを設計する。
• 統一されたプロンプト構造を用いて、取得したウェブの抜粋をモデルの入力に統合し、外部証拠を用いたエンド・ツー・エンド生成を可能にする。
• ドメイン固有のファインチューニングと、取得したウェブデータに基づく継続的知識学習を組み合わせて、エンド・ツー・エンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 動的ウェブ検索は、Wikipediaのような静的知識ソースを超えて、知識集約的タスクにおけるLLMsの性能を向上させることができるか？
• RQ2 LLMsが不要な場合にウェブを検索しないように、ノイズを低減し、計算コストを削減するための選択的検索を実現する方法は何か？
• RQ3 内部モデル知識と取得したウェブ知識の分布的乖離を効果的に低減する事前学習戦略は何か？
• RQ4 統合的フレームワークは、ウェブ拡張型LLMsを用いて、多様な知識集約的タスクを効果的に処理できるか？
• RQ5 取得した検索結果の品質はモデルの性能にどのように影響するか？また、最適な検索深さ（K）は何か？

主な発見

• UniWebは、16の知識集約的タスクにおいて、先行する検索拡張手法を著しく上回り、最先端の性能を示した。
• RealTime QAのようなリアルタイム質問応答ベンチマークにおいても高い正確性を達成し、2022年ワールドカップの決勝進出国が『クロアチアとモロッコ』であることを正しく特定した。一方、静的ソースはコンテンツが古いため失敗した。
• 上位6〜10件の検索結果を用いることで、上位1〜5件と同等の性能が得られ、コストと効果のバランスを考慮してK=10を選択することが正当化された。
• 予測エントロピーを用いた自己評価は、モデルの信頼度と強く相関しており、正解の予測では平均エントロピーが低かった。
• 継続的知識学習という事前学習タスクは、エンコードされた知識と取得された知識の乖離を効果的に低減し、整合性と一般化性能を向上させた。
• 信頼度に基づく検索ゲーティングと組み合わせることで、ノイズが多いまたは低品質な結果に対してもモデルの頑健性が向上した。