[論文レビュー] Augmented Language Models: a Survey

Grégoire Mialon, Roberto Dessì+11 more|arXiv (Cornell University)|Feb 15, 2023

Topic Modeling被引用数 140

ひとこと要約

このサーベイは、言語モデルが推論と外部ツールで拡張されるALMsを体系化し、手法を分類し、プロンプティング、検索、および学習アプローチについて、将来の展望と制約とともに論じる。

ABSTRACT

This survey reviews works in which language models (LMs) are augmented with reasoning skills and the ability to use tools. The former is defined as decomposing a potentially complex task into simpler subtasks while the latter consists in calling external modules such as a code interpreter. LMs can leverage these augmentations separately or in combination via heuristics, or learn to do so from demonstrations. While adhering to a standard missing tokens prediction objective, such augmented LMs can use various, possibly non-parametric external modules to expand their context processing ability, thus departing from the pure language modeling paradigm. We therefore refer to them as Augmented Language Models (ALMs). The missing token objective allows ALMs to learn to reason, use tools, and even act, while still performing standard natural language tasks and even outperforming most regular LMs on several benchmarks. In this work, after reviewing current advance in ALMs, we conclude that this new research direction has the potential to address common limitations of traditional LMs such as interpretability, consistency, and scalability issues.

研究の動機と目的

• Augmented Language Models (ALMs) を定義し、推論とツールの利用を区別する。
• 推論、ツール、学習戦略の3軸に沿った ALM アプローチの分類法を提供する。
• プロンプティング手法、再帰的および明示的推論、およびツールがどのように統合されるか（検索、計算、行動）をレビューする。
• ALMs のための学習パラダイム（監督、強化学習、指示ファインチューニング）を調査し、制限と将来の方向性を論じる。

提案手法

• 推論、ツールの使用、学習の3軸に沿ってALMsを分類する。
• 推論を誘発するプロンプティング技法の説明（chain-of-thought、zero-shot/few-shot、Self-Ask、ReAct）。
• 再帰的および明示的推論手法の要約（least-to-most、subproblemsへの分解）。
• 他モデルの呼び出し、情報検索、記号的/コードインタープリタ、仮想/現実世界での作動など、ツールのモダリティを論じる。
• 検索拡張型言語モデル（REALM、RAG、RETRO、Atlas）と、それらをLMのコンテキストに統合する方法をレビューする。
• 監督、指示チューニング、推論のためのファインチューニングなどの学習アプローチと、それらが推論と信頼性に与える影響を扱う。

実験結果

リサーチクエスチョン

• RQ1 言語モデルにおける推論を効果的に喚起・向上させる戦略は何か？
• RQ2 外部ツールやモジュールを統合してLMの能力を拡張するにはどうすればよいか（検索、計算、行動）？
• RQ3 ALMsにおいて推論、ツールの使用、およびアラインメントを最も改善する学習パラダイムは何か？
• RQ4 解釈性、スケーラビリティ、忠実度の観点でALMsの主な制限と今後の方向性は何か？],
• RQ5 key_findings:[
• RQ6 ,
• RQ7 ,
• RQ8 ,
• RQ9 ,
• RQ10 ,
• RQ11 ] ,
• RQ12 table_headers:[],
• RQ13 table_rows:[] }%0A</GeneratedReview>
• RQ14 table_headers:[],
• RQ15 table_rows:[] }%0A</GeneratedReview>
• RQ16 table_headers:[],
• RQ17 table_rows:[] }%0A</GeneratedReview>
• RQ18 table_headers:[],
• RQ19 table_rows:[] }%0A</GeneratedReview>
• RQ20 table_headers:[],
• RQ21 table_rows:[] }%0A</GeneratedReview>
• RQ22 table_headers:[],
• RQ23 table_rows:[] }%0A</GeneratedReview>
• RQ24 table_headers:[],
• RQ25 table_rows:[] }%0A</GeneratedReview>
• RQ26 table_headers:[],
• RQ27 table_rows:[] }%0A</GeneratedReview>,

主な発見

• ALMs は推論とツール使用の組み合わせ、あるいはその両方を統合することで、多くの標準的なLMを多様なベンチマークで上回る可能性があることを示している。
• 主要なプロンプティング手法（chain-of-thought、Self-Ask、ReAct）と、再帰的または明示的推論戦略が、多段階タスクの改善のために調査されている。
• REALM、RAG、RETRO、Atlas などの検索拡張型モデルは、モデルサイズを過度に大きくすることなく、外部データソースを用いてLMの能力を拡張するうえで中心的である。
• 情報検索、コードインタープリタ、記号モジュール、モデル間通信を含む複数のツールモダリティが存在し、LMが最新情報にアクセスし計算を実行できるようにしている。
• 指示調整や推論データを用いたファインチューニングなどの学習手法は、より小さなモデルにも推論能力を付与し、より大きなモデルと競合できるようにする。
• 進展にもかかわらず、信頼性、中間ステップの解釈性、効率性は依然として主要な制約であり、今後の課題領域である。