[論文レビュー] Language Models as a Knowledge Source for Cognitive Agents

III Wray, James R. Kirk+1 more|arXiv (Cornell University)|Sep 16, 2021

Topic Modeling被引用数 5

ひとこと要約

本論文では、認知エージェントのための動的知識源として事前学習済み言語モデル（LM）を活用することを提案しており、自然言語理解を通じてタスク固有の知識を習得できるようにする。LMを認知アーキテクチャに統合することで、計画や推論などのタスクにおいて、知識を動的に取得・精錬でき、複雑な環境における柔軟性とパフォーマンスの向上が著しく可能になる。

ABSTRACT

Language models (LMs) are sentence-completion engines trained on massive corpora. LMs have emerged as a significant breakthrough in natural-language processing, providing capabilities that go far beyond sentence completion including question answering, summarization, and natural-language inference. While many of these capabilities have potential application to cognitive systems, exploiting language models as a source of task knowledge, especially for task learning, offers significant, near-term benefits. We introduce language models and the various tasks to which they have been applied and then review methods of knowledge extraction from language models. The resulting analysis outlines both the challenges and opportunities for using language models as a new knowledge source for cognitive systems. It also identifies possible ways to improve knowledge extraction from language models using the capabilities provided by cognitive systems. Central to success will be the ability of a cognitive agent to itself learn an abstract model of the knowledge implicit in the LM as well as methods to extract high-quality knowledge effectively and efficiently. To illustrate, we introduce a hypothetical robot agent and describe how language models could extend its task knowledge and improve its performance and the kinds of knowledge and methods the agent can use to exploit the knowledge within a language model.

研究の動機と目的

• 大規模言語モデルを認知エージェントのタスク知識源として使用する可能性を調査すること。
• 認知システム統合に向けた高品質で実行可能な知識を、LMから抽出する際の課題と機会を同定すること。
• 認知エージェントがLMに内蔵された知識の抽象的モデルを学習し、タスクパフォーマンスを向上させることを目的としたフレームワークを提案すること。
• 認知アーキテクチャとLMの相乗効果が、適応的で知識豊富なエージェント行動を実現する仕組みを示すこと。
• リアルタイム意思決定を支援するため、LMからの効率的かつ効果的な知識抽出を可能にする手法を提示すること。

提案手法

• 一般的で世界に関する知識やタスク関連情報のソースとして、事前学習済み言語モデル（例：GPT風のモデル）を活用する。
• 自然言語プロンプトとリtrievalメカニズムを介してLMを認知アーキテクチャに統合し、計画や推論を支援する。
• エージェントの内部シンボリック推論システムを用いて、LMから抽出された知識を解釈・検証・抽象化する。
• ファインチューニングを伴わずに、ゼロショットおよびフェイシングプロンプティング技術を用いて、タスク固有の知識をLMに問い合わせる。
• 反復的精錬と信頼度スコアリングを活用し、LMの出力から高品質な知識をフィルタリング・優先順位付けする。
• エージェントの推論と経験が、時間経過とともにLM由来の知識の使用を改善するフィードバックループを提案する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして言語モデルを認知エージェントのタスク知識源として効果的に活用できるか？
• RQ2 事前学習済み言語モデルから信頼性があり実行可能な知識を抽出するにあたり、主な課題は何か？
• RQ3 認知エージェントは、言語モデルから内蔵された知識をどのように動的にモデル化・利用できるか？
• RQ4 LMの統合が、複雑なタスクにおける認知エージェントのパフォーマンスと適応性をどのように向上させるか？
• RQ5 認知アーキテクチャ内でのLMからの知識抽出を効率的かつ高品質に実現するためのメカニズムは何か？

主な発見

• 言語モデルは、認知エージェントの能力を著しく拡張する豊富でスケーラブルなタスク知識源として機能することができる。
• ファインチューニングを伴わずに、エージェントがLMから知識を抽出・利用でき、新しいタスクへの迅速な適応が可能になる。
• LMの統合により、広範な世界知識へのアクセスが可能になり、計画や推論におけるエージェントのパフォーマンスが向上する。
• 高品質な知識抽出には、プロンプティングに加え、エージェントのシンボリック推論システム内での検証と抽象化メカニズムが必要不可欠である。
• エージェントの推論とLM問い合わせの間のフィードバックループにより、知識品質とタスクパフォーマンスの継続的改善が実現する。
• 仮想のロボットエージェントのシナリオにおいて、LMを補完とする知識を活用することで、タスク学習と実行の改善が明確に示された。