[論文レビュー] Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc

Doug Lenat, Gary Marcus|arXiv (Cornell University)|Jul 31, 2023

Topic Modeling被引用数 21

ひとこと要約

この論文は、大規模言語モデルと象徴的で明示的にキュレーションされた知識（Cycのように）を組み合わせたハイブリッドAIアプローチが、LLMsだけでは提供できない信頼性が高く、解釈可能で、迅速な推論を実現することを主張する。

ABSTRACT

Generative AI, the most popular current approach to AI, consists of large language models (LLMs) that are trained to produce outputs that are plausible, but not necessarily correct. Although their abilities are often uncanny, they are lacking in aspects of reasoning, leading LLMs to be less than completely trustworthy. Furthermore, their results tend to be both unpredictable and uninterpretable. We lay out 16 desiderata for future AI, and discuss an alternative approach to AI which could theoretically address many of the limitations associated with current approaches: AI educated with curated pieces of explicit knowledge and rules of thumb, enabling an inference engine to automatically deduce the logical entailments of all that knowledge. Even long arguments produced this way can be both trustworthy and interpretable, since the full step-by-step line of reasoning is always available, and for each step the provenance of the knowledge used can be documented and audited. There is however a catch: if the logical language is expressive enough to fully represent the meaning of anything we can say in English, then the inference engine runs much too slowly. That's why symbolic AI systems typically settle for some fast but much less expressive logic, such as knowledge graphs. We describe how one AI system, Cyc, has developed ways to overcome that tradeoff and is able to reason in higher order logic in real time. We suggest that any trustworthy general AI will need to hybridize the approaches, the LLM approach and more formal approach, and lay out a path to realizing that dream.

研究の動機と目的

• 現在の LLM ベースの GenAI アプローチの限界を特定する（信頼性、解釈性、および安定性）。
• 推論・説明・適応が可能な信頼できる汎用AIのための16の desiderata を概説する。
• これらの desiderata を満たす具体的で表現力の高い象徴的システムとしてCycを提案する。
• LLMの能力と形式的推論エンジンを統合するハイブリッドアーキテクチャについて議論する。

提案手法

• 信頼できるAIに必要な16の能力を定義する（説明、推論、帰納、類推、仮説演繹、心の理論、量化子の流暢さ、モーダル流暢さ、排他的可能性、賛成・反対の議論、文脈、メタ知識とメタ推論、明示的倫理、速度、言語/具現化、広く深い知識）。
• LLMs（統計的、速い、暗黙知）とCycの明示的で高次論理的推論（CycL）を比較する。
• Cycがどのように手作成の数千万の公理と規則を形式的オントロジーにエンコードしてリアルタイム推論を可能にするかを説明する。
• 論理ベースの推論がLLM出力の健全性検査として機能し、逆もまた然りである理由を説明する。

実験結果

リサーチクエスチョン

• RQ1 現在のLLMsを超える信頼できる汎用AIに求められる中核的な能力は何か？
• RQ2 象徴的で明示的にキュレーションされた知識ベース（Cycのような）と確率的LLMsを組み合わせることで、より高い信頼性と解釈性を達成できるか？
• RQ3 高次論理と規則ベースの推論を、表現力を維持しつつリアルタイムアプリケーションにスケールさせるにはどうすればよいか？
• RQ4 両方のパラダイムの強みを活用するハイブリッドAIアーキテクチャへの実践的な道筋は何か？

主な発見

• 著者らは、説明、推論、文脈処理、メタ知識、倫理、速度、具現化、広範な知識にまたがる、信頼できるAIが満たすべき16の desiderata を挙げている。
• 彼らはLLMsが明示的な知識、堅牢な推論、各推論の検証可能な出所を欠くと主張し、信頼性、安定性、解釈性の問題につながる。
• Cycは、手作業で作成された大規模な知識ベースと高次論理を用いた推論がリアルタイムで機能し、推論の説明責任を保つことを示している。
• A hybrid architecture that combines LLM capabilities with symbolic reasoning can potentially address many deficiencies of current GenAI approaches.
• Symbolic systems must avoid overly limiting expressiveness to remain capable of representing nuanced natural-language statements and world models.