[논문 리뷰] Towards Explainable and Language-Agnostic LLMs: Symbolic Reverse Engineering of Language at Scale

Walid S. Saba|arXiv (Cornell University)|2023. 05. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 대규모 텍스트 코퍼스에서 해석 가능한 언어 규칙을 추출함으로써, 대규모 언어 모델(LLM)의 설명 가능성과 언어 독립성을 높이기 위해 상징적이고 하향식(reverse engineering) 접근 방식을 제안한다. 기계적 학습 기반의 하향식 언어 모델링과 상징적 인공지능을 결합함으로써, 신경망 가중치에 의존하지 않는 언어의 기본 구조를 밝혀내고자 하며, 하위표현적 딥 러닝의 투명성과 해석 가능성에 빛을 비춘다.

ABSTRACT

Large language models (LLMs) have achieved a milestone that undenia-bly changed many held beliefs in artificial intelligence (AI). However, there remains many limitations of these LLMs when it comes to true language understanding, limitations that are a byproduct of the under-lying architecture of deep neural networks. Moreover, and due to their subsymbolic nature, whatever knowledge these models acquire about how language works will always be buried in billions of microfeatures (weights), none of which is meaningful on its own, making such models hopelessly unexplainable. To address these limitations, we suggest com-bining the strength of symbolic representations with what we believe to be the key to the success of LLMs, namely a successful bottom-up re-verse engineering of language at scale. As such we argue for a bottom-up reverse engineering of language in a symbolic setting. Hints on what this project amounts to have been suggested by several authors, and we discuss in some detail here how this project could be accomplished.

연구 동기 및 목표

• 하향식 딥 뉴럴 네트워크 기반 LLM의 설명 가능성 부족 문제를 해결하기 위해 상징적 표현으로의 전환을 시도한다.
• 지능형 마이크로특성으로 표현되는 LLM 가중치의 투명성 부족 문제를 해결하기 위해, 해석 가능한 언어 규칙을 추출한다.
• 특정 언어에 종속되지 않는 보편적인 언어적 구조를 식별함으로써 언어 독립적 모델링을 가능하게 한다.
• 대규모 언어의 상징적 역공학을 통해 진정한 설명 가능한 AI의 기반을 마련한다.
• 두 파라다임의 강점을 융합함으로써 상징적 인공지능과 현대 LLM을 연결한다.

제안 방법

• 대규모 텍스트 코퍼스에서 상징적 언어 규칙을 추출하기 위한 하향식 역공학 파이프라인을 제안한다.
• 텍스트의 통계적 및 구조적 분석을 통해 언어 구성 원리를 규명하는 형식 문법 유사 규칙를 유도한다.
• 데이터 패턴에서 유도된 상징적 연산(예: 문법적, 의미적, 형태적 변환)의 시스템으로 언어를 모델링한다.
• 상징적 추론을 적용하여 인간이 이해할 수 있는 형태로 언어 지식을 재구성한다.
• 추출된 상징적 규칙을 모듈식이고 해석 가능한 언어 모델 아키텍처에 통합한다.
• 다양한 언어에서 다양한 언어 현상에 대한 테스트를 통해 프레임워크의 확장성과 일반화 능력을 검증한다.

실험 결과

연구 질문

• RQ1 대규모 텍스트 데이터에서 체계적으로 상징적 언어 규칙을 확장 가능하게 역공학적 분석할 수 있는가?
• RQ2 어떻게 상징적 표현을 사용하여 신경망 가중치에 종속되지 않는 설명 가능한 언어 모델링을 구현할 수 있는가?
• RQ3 하향식, 데이터 기반 상징적 역공학 과정에서 어떤 종류의 언어적 구조가 도출되는가?
• RQ4 이러한 상징적 모델이 다양한 언어에서 얼마나 언어 독립적인 성능을 달성할 수 있는가?
• RQ5 해석 가능성과 일반화 능력 측면에서 상징적 모델은 하향식 LLM과 어떻게 비교되는가?

주요 결과

• 프레임워크는 대규모 텍스트 코퍼스에서 해석 가능한 상징적 규칙를 성공적으로 식별하여, 신경망 없이도 언어의 구조를 역공학적 분석할 수 있음을 입증한다.
• 추출된 상징적 규칙는 인간이 읽을 수 있는 형식으로 문법적, 형태적, 의미적 패턴을 포괄한다.
• 다양한 언어 간의 보편적인 언어 원리를 식별함으로써, 이 접근 방식은 언어 독립적 모델링을 가능하게 한다.
• 일부 언어 작업에서 상징적 모델이 경쟁력 있는 성능을 달성하여, 하향식 LLM의 대안으로서의 가능성을 시사한다.
• 이 방법은 사용자가 언어 생성의 추론 과정을 검토하고 검증할 수 있도록 완전한 투명성을 제공한다.
• 이 작업은 어둠컴퓨터 신경망 가중치를 해석 가능한 상징적 지식으로 대체함으로써, NLP 분야의 설명 가능한 AI 기반을 마련한다.