[論文レビュー] Atlas: Few-shot Learning with Retrieval Augmented Language Models

Gautier Izacard, Patrick Lewis+8 more|arXiv (Cornell University)|Aug 5, 2022

Topic Modeling被引用数 196

ひとこと要約

Atlasは、検索補助型言語モデルが、検索機を同時訓練することによって、巨大なLLMよりはるかに少ないパラメータ数で、少数ショットの知識タスクで優れることを示す。

ABSTRACT

Large language models have shown impressive few-shot results on a wide range of tasks. However, when knowledge is key for such results, as is the case for tasks such as question answering and fact checking, massive parameter counts to store knowledge seem to be needed. Retrieval augmented models are known to excel at knowledge intensive tasks without the need for as many parameters, but it is unclear whether they work in few-shot settings. In this work we present Atlas, a carefully designed and pre-trained retrieval augmented language model able to learn knowledge intensive tasks with very few training examples. We perform evaluations on a wide range of tasks, including MMLU, KILT and NaturalQuestions, and study the impact of the content of the document index, showing that it can easily be updated. Notably, Atlas reaches over 42% accuracy on Natural Questions using only 64 examples, outperforming a 540B parameters model by 3% despite having 50x fewer parameters.

研究の動機と目的

• 少数ショット設定における検索補助型言語モデルの設計と訓練戦略の詳細な研究。
• 低パラメータ数で知識集約的なタスクを実行するモデル Atlas の開発と評価。
• 少数ショットタスクのためのリトリーバーと言語モデルの両方の効率的なファインチューニング方法を調査。
• Atlas が用いる外部知識インデックスの更新と解釈性を評価。

提案手法

• 密なデュアルエンコーダリトリーバー (Contriever) と Fusion-in-Decoder を備えた T5 ベースのシーケンス・ツー・シーケンスリーダーという2部構成のアーキテクチャを使用する。
• リトリーバーとリーダーを、LM信号を活用する複数の取得ベースの目的関数（ADist、EMDR2、PDist、LOOP）を用いて共同訓練する。
• リトリーバーとLMの能力を整合させるため、unsupervisedタスク（prefix LM、masked LM、title-to-section generation）で事前訓練する。
• クエリ側最適化でファインチューニングし、リトリーバーのインデックスの鮮度を管理するためのインデックス更新戦略を試す。
• すべてのタスクをテキスト対テキストのパラダイムで定義し、取得された文書をエンコーダで独立して処理し、デコーダでのクロスアテンションを用いる。
• 訓練中のインデックス更新オーバーヘッドを減らすための、効率的なリトリーバーファインチューニング戦略を模索する。

実験結果

リサーチクエスチョン

• RQ1 比較的少ない学習例で、検索補助型モデルは知識集約的なタスクを学習できるのか。
• RQ2 少数ショット学習のために、どの訓練信号と事前訓練目的がリトリーバーと語モデルを最もよく整列させるか。
• RQ3 インデックス更新戦略は訓練効率と下流性能にどう影響するか。

主な発見

• Atlas は 11B パラメータのモデルを用いて、64 の訓練例で Natural Questions において 42.4% の精度を達成し、540B パラメータのモデルを約3ポイント上回る。
• Wikipediaのみのインデックスで Atlas は Natural Questions で 45.1%、全データセット設定で 64.0% を達成し、8ポイント新しいSOTAを樹立。
• Atlas は MMLU、TriviaQA、FEVER、他のKILTタスクで、少数ショットおよび全データセットの性能が優れており、多くの場合、はるかに大規模なモデルを上回る。
• リトリーバーとLMの共同事前訓練は少数ショットの性能にとって不可欠であり、複数のリトリーバー監督損失（ADist、EMDR2、PDist、LOOP）は有効である。
• 効率的なリトリーバーファインチューニング戦略とインデックス管理手法により、大規模な文書コレクションでの実用的な訓練を可能にする。