[論文レビュー] Integrating Diverse Knowledge Sources for Online One-shot Learning of Novel Tasks

James R. Kirk, Robert E. Wray+2 more|arXiv (Cornell University)|Aug 19, 2022

Topic Modeling被引用数 7

ひとこと要約

本論文は、身体を持つエージェントのためのオンラインワンショット学習フレームワークを提案する。このフレームワークは、人間の自然言語指示、環境との相互作用、内部探索、GPT-3の出力といった多様な知識源を、Soar認知アーキテクチャ内で統合する。エージェントは、これらの知識源を動的に組み合わせることで、リアルタイムにタスクポリシーを推論・一般化し、最小限の人的フィードバックで迅速かつ信頼性の高いタスク学習を達成する。

ABSTRACT

Autonomous agents are able to draw on a wide variety of potential sources of task knowledge; however current approaches invariably focus on only one or two. Here we investigate the challenges and impact of exploiting diverse knowledge sources to learn online, in one-shot, new tasks for a simulated office mobile robot. The resulting agent, developed in the Soar cognitive architecture, uses the following sources of domain and task knowledge: interaction with the environment, task execution and search knowledge, human natural language instruction, and responses retrieved from a large language model (GPT-3). We explore the distinct contributions of these knowledge sources and evaluate the performance of different combinations in terms of learning correct task knowledge and human workload. Results show that an agent's online integration of diverse knowledge sources improves one-shot task learning overall, reducing human feedback needed for rapid and reliable task learning.

研究の動機と目的

• 現在のAIシステムがタスク学習に1〜2つの知識源に依存するという限界を解決すること。
• 複数の多様な知識源を用いて、シミュレーテッドモバイルロボットでオンラインかつワンショットで新規タスクを学習可能にする。
• 外部知識の知的統合により、繰り返しまたは詳細な指示の必要を最小限に抑えることで人的負担を軽減すること。
• 硬直的な行動シーケンスの記憶を避けて、一般化可能な状態ベースのポリシーを構築すること。
• 大規模言語モデル（LLM）、人間の入力、知覚、内部探索の組み合わせが、強固で適応的なタスク学習に与える相乗効果を調査すること。

提案手法

• エージェントはSoar認知アーキテクチャを用い、リアルタイムの知覚、人間の自然言語指示、行動計画のための内部探索、GPT-3が出力する反応を統合する。
• GPT-3はテンプレートベースのプロンプトによって問い合わせられ、潜在的な目的（例：「ケチャップを冷蔵庫に入れる」）や行動（例：「ケチャップを拾う」）を生成する。これらの出力は人間のインstructerによって検証される。
• 行動の実行と後続分析に基づいて、手続き的ルールが学習される。例：「洗い場が閉じているかつロボットが物体を保持していない場合、Open(O1)を提案する」。
• ルール学習を通じて一般化された状態ベースのポリシーが獲得され、これにより新しい物体（例：金属製のフォーク）や類似タスク（例：異なる食器を片付ける）への適用が可能になる。
• 現在のタスク、検出された物体、性質（例：閉じている、持ち上げ可能）および目的に基づいて、ルールが動的に選択される。これにより、再学習なしに適応的行動選択が可能になる。
• 事前学習を避けて、タスク実行中に知識をオンラインで統合することで、リアルタイムの適応性と最小限の人的干渉を実現する。

実験結果

リサーチクエスチョン

• RQ1 LLM、人間の言語、知覚、探索といった複数の多様な知識源を統合することで、身体を持つエージェントにおけるオンラインワンショットタスク学習はどの程度向上するか？
• RQ2 特にLLMが人的負担の軽減と学習の信頼性向上に果たす相対的貢献は何か？
• RQ3 1回のデモンストレーションと複数の知識源から、硬直的な行動シーケンスの記憶を避けて一般化可能で再利用可能なポリシーを学習できるか？
• RQ4 LLMの出力と人的フィードバックの統合は、タスク実行における幻覚の発生をどのように軽減し、文脈的正確性を向上させるか？
• RQ5 追加の指示や学習なしに、学習済みポリシーを新規の物体や類似タスクにどの程度一般化できるか？

主な発見

• 多様な知識源の統合は、ワンショットタスク学習のパフォーマンスを顕著に向上させ、人的フィードバックを最小限に抑えながら迅速かつ信頼性の高い新規タスク習得を可能にした。
• エージェントは人間の指示、LLMが生成した行動、環境知覚、内部探索を統合することで、「台所を片付ける」タスクを正しく実行し、繰り返しの指示なしにタスクを達成した。
• 開ける・閉める・拾う・置くといった一般化された手続き的ルールが学習され、複数の物体や状況に適用可能となった。これにより、金属製のフォークのような新しいインスタンスに対しても再学習なしに適用可能になった。
• GPT-3に対してテンプレートベースのプロンプトを用いることで幻覚のリスクが低減され、人的フィードバックによりLLM出力の検証と是正が行われ、信頼性と文脈的正確性が向上した。
• 特にLLMと内部探索が統合された知識源により、計画と行動生成がオフロードされたため、詳細な人的入力の必要性が軽減された。
• 行動が即座に実行可能でない場合でも、環境状態と目的条件に基づいて適切な行動（例：開ける前に接近する）を選択する能力を示し、エージェントの頑健性を実証した。