Skip to main content
QUICK REVIEW

[論文レビュー] MRKL Systems: A modular, neuro-symbolic architecture that combines large language models, external knowledge sources and discrete reasoning

Ehud Karpas, Omri Abend|arXiv (Cornell University)|May 1, 2022
Natural Language Processing TechniquesComputer Science被引用数 41
ひとこと要約

この論文は MRKL(モジュラーな神経-シンボリックアーキテクチャ)を提案し、巨大言語モデルと外部知識源および離散推論モジュールを組み合わせる手法を示し、AI21 Labs の Jurassic-X システムと算術ルーティング実験で実証します。

ABSTRACT

Huge language models (LMs) have ushered in a new era for AI, serving as a gateway to natural-language-based knowledge tasks. Although an essential element of modern AI, LMs are also inherently limited in a number of ways. We discuss these limitations and how they can be avoided by adopting a systems approach. Conceptualizing the challenge as one that involves knowledge and reasoning in addition to linguistic processing, we define a flexible architecture with multiple neural models, complemented by discrete knowledge and reasoning modules. We describe this neuro-symbolic architecture, dubbed the Modular Reasoning, Knowledge and Language (MRKL, pronounced "miracle") system, some of the technical challenges in implementing it, and Jurassic-X, AI21 Labs' MRKL system implementation.

研究の動機と目的

  • 動的な知識と推論タスクに対する純粋な大規模言語モデルの動機づけと制限の識別。
  • ニューロン専門家と記号モジュールおよびルーティング機構を組み合わせる MRKL アーキテクチャの紹介。
  • Jurassic-X、AI21 Labs の MRKL 実装、および電卓ベースのテストケースを用いたアプローチのデモ。
  • モジュラーなルーティングが最新情報アクセス、独自データ統合、組み合わせ推論を可能にすることの示唆。

提案手法

  • MRKL を、入力を適切なモジュールへ導くルータを備えたニューラルおよびシンボリックな専門家のシステムとして定義。
  • 専用のニューラルルータを実装し、自然言語から象徴モジュールへ構造化された引数を抽出。
  • 算術抽出タスクのためのルータの訓練にデータ拡張とプロンプト調整を用いる。
  • 数字、語形、フォーマット、演算タイプを横断する一般化能力を評価し、ニューラルとシンボリック構成要素間の峡谷跨ぎをテスト。
  • プロンプト調整と few-shot アプローチを比較する実験フレームワークを説明し、フォーマットとオペランド表現の堅牢性を議論。

実験結果

リサーチクエスチョン

  • RQ1モジュラー神経-象徴系は LM を象徴的・外部知識源と組み合わせることで LM の限界をどう克服できるか?
  • RQ2ルータはディスクリート推論者への呼び出しを効果的に選択・パラメータ化して、信頼性のあるシンボリック計算を可能にできるか?
  • RQ3digit-length、word formats、problem formats にわたる算術推論の一般化をどの程度達成できるか?
  • RQ4神経-象徴間の峡谷を越える際の実務的課題は何か、Jurassic-X はそれらにどう対処しているか?
  • RQ5最新情報アクセスと独自データ統合の観点で MRKL の利点は何か?

主な発見

  • MRKL システムは、専門家が適切でない場合に LM への安全なフォールバックを可能にする。
  • モジュラー設計は、既存機能を損なうことなく低コストで拡張性を提供する。
  • ルーティング決定は出力の解釈可能な正当化(例:計算機ベースの結果)を提供する。
  • 外部 API やデータベースは最新情報と独自知識の統合を可能にする。
  • Jurassic-X はデータ拡張とプロンプト調整を用いると、テキストからの算術抽出がほぼ完璧となり、数字・語形・フォーマットの一般化も強い。
  • 二操作・多操作の算術一般化実験は、ほとんどの式タイプで堅牢な性能を示すが、いくつかのフォーマット関連の例外がある。

この論文を読む

Nubintのビューアで原文を開き、読みながら気になる箇所をすぐに質問できます。

Nubintでこの論文を読む

このレビューはAIが論文の原文をもとに作成しました。引用する前に原文をご確認ください。