[論文レビュー] Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs

Walid S. Saba|arXiv (Cornell University)|Sep 12, 2023

Topic Modeling被引用数 4

ひとこと要約

この論文は、確率的（stochastic）な大規模言語モデル（LLMs）が、知識表現のサブシンボリックで重みベースの特性と、事実に関する推論における本質的な不安定性のため、真の言語理解を欠いていると主張する。本稿では、言語の下位互換的逆設計を体系的・記号的枠組みで行い、解釈可能で、形式的オントロジーと規則ベース推論を用いて言語的構造と意味を保つ、記号的で、オントロジーに根ざし、説明可能な代替フレームワークを提案する。

ABSTRACT

In our opinion the exuberance surrounding the relative success of data-driven large language models (LLMs) is slightly misguided and for several reasons (i) LLMs cannot be relied upon for factual information since for LLMs all ingested text (factual or non-factual) was created equal; (ii) due to their subsymbolic na-ture, whatever 'knowledge' these models acquire about language will always be buried in billions of microfeatures (weights), none of which is meaningful on its own; and (iii) LLMs will often fail to make the correct inferences in several linguistic contexts (e.g., nominal compounds, copredication, quantifier scope ambi-guities, intensional contexts. Since we believe the relative success of data-driven large language models (LLMs) is not a reflection on the symbolic vs. subsymbol-ic debate but a reflection on applying the successful strategy of a bottom-up reverse engineering of language at scale, we suggest in this paper applying the effective bottom-up strategy in a symbolic setting resulting in symbolic, explainable, and ontologically grounded language models.

研究の動機と目的

• データ駆動型LLMの成功が、サブシンボリックなアプローチが記号的アプローチを上回ることを示すという仮定に挑戦すること。
• 現在のLLMの根本的限界、すなわち事実の信頼性の欠如、解釈不能性、および複雑な言語的推論における失敗を特定すること。
• 形式的オントロジーと規則ベース推論を通じて言語的構造と意味を保ち続ける記号的アプローチを提唱すること。
• 解釈可能で、オントロジーに根ざし、曖昧な言語的文脈においても正しい推論が可能な言語モデルのフレームワークを構築すること。
• LLMの成功を、サブシンボリックAIの正当性の証明ではなく、大規模かつ下位互換的言語モデリングの力の証明として再解釈すること。

提案手法

• 言語的知識が学習された重みではなく、形式的オントロジーと論理的規則によって表現される記号的AIフレームワークを採用する。
• 現在のLLMの訓練に用いられるのと同様の下位互換的逆設計戦略を、記号的かつ解釈可能なアーキテクチャ内で適用する。
• 意味的コンセプトと関係を一貫的かつ意味的に明確に表現できるように、オントロジー構造を統合する。
• 名詞的複合語、共述性、量化子のスコープの曖昧さといった、困難な言語的現象における推論を、記号的推論メカニズムで実行する。
• 内部の推論ステップを透明かつ追跡可能にすることで、ニューラルパラメータ更新のブラックボックス性とは対照的に、説明可能性を確保する。
• 統計的パターンに依存するのではなく、論理的一致性とオントロジーによる検証に基づいて、事実的でないテキストと区別できるようにシステムを設計する。

実験結果

リサーチクエスチョン

• RQ1 確率的LLMは、性能にかかわらず、なぜ事実的知識の表現や推論を信頼性を持って行えないのか？
• RQ2 形式的オントロジーに根ざした記号的で、オントロジーに根ざした言語モデルは、サブシンボリックLLMよりも、複雑な言語的推論においてより優れた解釈可能性と正確性を達成できるか？
• RQ3 ニューラルパラメータチューニングに依存せずに、記号的フレームワーク内で大規模かつデータ駆動型言語モデリングの成功を再現できるか？
• RQ4 記号的モデルは、共述性や量化子のスコープの曖昧さといった言語的現象を、LLMよりもどのように上回るか？
• RQ5 オントロジーに根ざすことは、信頼性があり説明可能な言語理解を可能にするために果たす役割は何か？

主な発見

• LLMは、すべての取り込まれたテキストを真偽や整合性に関係なく同等に扱うため、事実の正確性を信頼できない。
• LLMのサブシンボリック性は、個々の重みが孤立して意味を持たないことを意味し、モデルの動作が不透明で解釈不能になる。
• LLMは、名詞的複合語や量化子のスコープの曖昧さといった、内省的または曖昧な言語的文脈における正しい推論を頻繁に失敗する。
• 形式的オントロジーに根ざした記号的モデルは、内部の論理と知識表現を透明にすることで、説明可能な推論を達成できる。
• 下位互換的で記号的な言語モデリングのアプローチは、データ駆動型LLMと同等のスケーラビリティと成功を再現できるが、同時に解釈可能性と意味的一致性を保つことができる。
• オントロジーに根ざすことで、モデルは事実的でないコンテンツと区別でき、推論における論理的一致性を強化し、幻覚や誤りの拡散を低減できる。