[논문 리뷰] Stochastic LLMs do not Understand Language: Towards Symbolic, Explainable and Ontologically Based LLMs

Walid S. Saba|arXiv (Cornell University)|2023. 09. 12.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 확률적 대규모 언어 모델(Large Language Models, LLMs)이 지식 표현 방식이 부호호(부호호가 아닌)이고 가중치 기반이며 사실 추론에서 내재된 비신뢰성 때문에 진정한 언어 이해를 갖지 못한다고 주장한다. 이에 따라 기초적인 역공학적 접근을 통해 구조화되고 상징적인 환경에서 언어를 재구성함으로써 해석 가능성과 강건한 추론을 달성하는, 상징적이고 철학적 기반을 지닌 해석 가능한 대체 프레임워크를 제안한다.

ABSTRACT

In our opinion the exuberance surrounding the relative success of data-driven large language models (LLMs) is slightly misguided and for several reasons (i) LLMs cannot be relied upon for factual information since for LLMs all ingested text (factual or non-factual) was created equal; (ii) due to their subsymbolic na-ture, whatever 'knowledge' these models acquire about language will always be buried in billions of microfeatures (weights), none of which is meaningful on its own; and (iii) LLMs will often fail to make the correct inferences in several linguistic contexts (e.g., nominal compounds, copredication, quantifier scope ambi-guities, intensional contexts. Since we believe the relative success of data-driven large language models (LLMs) is not a reflection on the symbolic vs. subsymbol-ic debate but a reflection on applying the successful strategy of a bottom-up reverse engineering of language at scale, we suggest in this paper applying the effective bottom-up strategy in a symbolic setting resulting in symbolic, explainable, and ontologically grounded language models.

연구 동기 및 목표

• 데이터 기반 LLM의 성공이 부호호 접근 방식에 비해 상징적 접근 방식이 열등하다는 가정을 뒷받dr치는 것.
• 현재 LLM의 핵심적 한계를 특정화하는 것—사실에 대한 신뢰성 부족, 해석 가능성 부족, 복잡한 언어적 추론에서의 실패.
• 형식적 온톨로지와 규칙 기반 추론을 통해 언어적 구조와 의미를 유지하는 상징적 접근을 옹호하는 것.
• 해석 가능하고 온톨로지 기반이며 모호한 언어적 맥락에서 정확한 추론이 가능한 언어 모델의 프레임워크를 개발하는 것.
• LLM의 성공을 부호호 AI의 정당화로 보는 것이 아니라, 대규모의 하향식 언어 모델링의 힘을 증거로 보는 관점을 재정립하는 것.

제안 방법

• 언어 지식이 학습된 가중치가 아닌 형식적 온톨로지와 논리 규칙을 통해 표현되는 상징적 AI 프레임워크를 채택한다.
• 현재 LLM을 훈련하는 데 쓰이는 것과 유사한 하향식 역공학 전략을, 그러나 상징적이고 해석 가능한 아키텍처 내에서 적용한다.
• 정의된 온톨로지 구조를 통합하여 의미 개념과 관계를 기반화함으로써 지식 표현의 일관성과 의미를 확보한다.
• 특히 명사 복합어, 공예약, 정량자 범위 모호성과 같은 어려운 언어 현상에서 추론을 수행하기 위해 상징적 추론 메커니즘을 사용한다.
• 내부 추론 단계를 투명하고 추적 가능하게 만들어 신경망의 검은 상자 성격과는 다르게 설명 가능성 확보.
• 통계적 패턴이 아닌 논리적 일관성과 온톨로지 검증에 기반하여 사실적 내용과 비사실적 내용을 구분할 수 있도록 시스템 설계.

실험 결과

연구 질문

• RQ1 확률적 LLM은 성능은 높지만 사실 지식을 신뢰성 있게 표현하거나 추론하지 못하는 이유는 무엇인가?
• RQ2 형식적 온톨로지 기반의 상징적 언어 모델은 부호호 LLM보다 더 높은 해석 가능성과 정확도를 달성할 수 있는가?
• RQ3 신경망 가중치 조정에 의존하지 않고도 대규모 데이터 기반 언어 모델링의 성공을 상징적 프레임워크에서 재현할 수 있는가?
• RQ4 상징적 모델은 공예약이나 정량자 범위 모호성과 같은 언어 현상에서 LLM보다 어떻게 뛰어나게 작용하는가?
• RQ5 온톨로지 기반화가 신뢰할 수 있고 해석 가능한 언어 이해를 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• LLM은 모든 입력 텍스트를 사실 여부나 일관성과 관계없이 동일하게 간주하기 때문에 사실 정확성에 신뢰를 두기 어렵다.
• LLM의 부호호적 성격은 개별 가중치가 독립적으로 의미가 없음을 의미하므로 모델의 행동이 투명하지 않고 해석이 불가능하다.
• LLM은 명시적 또는 모호한 언어 맥락, 예를 들어 명사 복합어나 정량자 범위 모호성에서 정확한 추론을 자주 실패한다.
• 형식적 온톨로지 기반의 상징적 모델은 내부 논리와 지식 표현의 투명성을 통해 해석 가능한 추론을 달성할 수 있다.
• 하향식 상징적 접근을 통해 언어 모델링은 데이터 기반 LLM의 확장성과 성공을 재현할 수 있으며, 同시에 해석 가능성과 의미 일관성을 유지할 수 있다.
• 온톨로지 기반화는 모델이 사실적 내용과 비사실적 내용을 구분하고 추론의 논리적 일관성을 강화함으로써 환각 현상과 오류 전파를 줄이는 데 기여한다.