[논문 리뷰] Neurocompositional computing: From the Central Paradox of Cognition to a new generation of AI systems

Paul Smolensky, R. Thomas McCoy외 3명|arXiv (Cornell University)|2022. 05. 02.

Cognitive Science and Mapping인용 수 4

한 줄 요약

이 논문은 구성성과 연속성의 원리를 통합하여 강건하고 해석 가능하며 일반화 가능한 지능을 가능하게 하는 새로운 AI 패러다임인 신경구성계산( neurocompositional computing)을 소개한다. 텐서 곱 표현(Tensor Product Representations, TPRs)과 신경적으로 인코딩된 구성적-구조적 텐서(Neurally-Encoded Compositionally-Structured Tensor, NECST)라고 불리는 형식론을 활용함으로써, 이 접근법은 더 깊은 구성적 일반화와 향상된 모델 해석 가능성을 달성하여 표준 딥러닝 시스템의 핵심적 한계를 극복한다.

ABSTRACT

What explains the dramatic progress from 20th-century to 21st-century AI, and how can the remaining limitations of current AI be overcome? The widely accepted narrative attributes this progress to massive increases in the quantity of computational and data resources available to support statistical learning in deep artificial neural networks. We show that an additional crucial factor is the development of a new type of computation. Neurocompositional computing adopts two principles that must be simultaneously respected to enable human-level cognition: the principles of Compositionality and Continuity. These have seemed irreconcilable until the recent mathematical discovery that compositionality can be realized not only through discrete methods of symbolic computing, but also through novel forms of continuous neural computing. The revolutionary recent progress in AI has resulted from the use of limited forms of neurocompositional computing. New, deeper forms of neurocompositional computing create AI systems that are more robust, accurate, and comprehensible.

연구 동기 및 목표

• 인간 수준의 지능이 연속적인 신경 과정에서 어떻게 유도되는지, 동시에 구성적 구조를 유지하는지에 대한 인지의 중심 역설을 해결하기 위해, 신경구성계산을 기초적인 계산 프레임워크로 식별한다.
• 20세기와 현재 21세기의 AI가 구성성과 연속성 원칙을 동시에 존중하지 못하는 아키텍처에 기인한 한계를 진단한다.
• 최근의 AI 발전이 표준 딥러닝 시스템의 알려진 한계에도 불구하고, 부분적으로는 암묵적인 신경구성계산의 출현 덕분이었음을 보여준다.
• NECST 형식론을 통해 신경구성계산의 더 깊은 실현을 제안함으로써, 더 강건하고 해석 가능한 AI 시스템을 가능하게 한다.
• NECST 기반 모델이 구성적 구조를 연속 벡터 표현에 직접 통합함으로써 일반화, 제어 가능성, 설명 가능성 향상을 이룬다.

제안 방법

• 연속적인 벡터 공간에 구성적 구조를 인코딩하기 위해 텐서 곱 표현(TPRs)을 사용함으로써, 이산적인 기호 유사한 구조를 연속적인 신경 활성화에 통합할 수 있다.
• TPR에서 바인딩 및 순열 연산을 사용하여 어휘적·계층적 구조(예: 어구 및 문장)를 표현함으로써, 새로운 조합에 대한 구성적 일반화를 가능하게 한다.
• 신경적으로 인코딩된 구성적-구조적 텐서(NECST) 형식론을 도입하여, 명시적인 구성적 구조를 가진 연속적인 벡터 공간에서 구조적 지식을 체계적으로 표현하고 처리할 수 있도록 한다.
• TPR의 분리된 표현을 적극적으로 활용하도록 설계된 신경망 아키텍처를 개발하여, 학습 과정에서 구성적 일반화를 촉진한다.
• 기호 의미가 구조적 맥락에 따라 동적으로 적응하도록 최적화 기반 처리를 구현함으로써 추론 능력과 맥락 민감도를 향상시킨다.
• NECST를 자연어 처리 작업에 적용하여, 내부 표현에 대한 정밀하고 해석 가능한 수정이 벡터 산술을 통해 직접 출력 행동을 제어할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 연속적인 신경 계산이 어떻게 구성적 구조와 연속적 처리를 동시에 지원할 수 있는가? 이는 기호적 접근과 연결주의적 접근 사이의 오랜 갈등을 어떻게 해결할 수 있는가?
• RQ2 현재의 딥러닝 시스템들이 얼마나 암묵적으로 신경구성계산을 구현하고 있으며, 이는 알려진 한계에도 불구하고 성공을 이끌어내는 이유를 어떻게 설명할 수 있는가?
• RQ3 NECST와 같은 형식론이 표준 딥러닝에 비해 더 깊은 구성적 일반화와 향상된 해석 가능성을 AI 시스템에 가능하게 할 수 있는가?
• RQ4 신경망은 어떻게 구성적 구조를 표현에서 적극적으로 활용하도록 구성할 수 있으며, 이를 통해 학습을 통해 암묵적으로 습득하는 것과는 어떻게 다를 수 있는가?
• RQ5 맥락 민감한 최적화 기반 의미 적응은 AI 시스템의 강건성과 정확도 향상에 어떤 역할을 하는가?

주요 결과

• TPRs와 NECST를 통해 실현된 신경구성계산은, 예를 들어 의미 벡터를 빼거나 더하여 행동을 변경하는 등의 벡터 산술을 통해 내부 표현에 정밀하고 해석 가능한 수정을 가능하게 한다.
• NECST 형식론은 ‘unlockedable’과 같은 중첩적·계층적 구조를 연속적 벡터 표현에 통합할 수 있어 더 풍부한 구성적 일반화를 가능하게 한다.
• TPR에서 내용과 역할을 명시적으로 분리함으로써, 일반화 및 제어 능력이 향상되며, 8단어 명령어를 30단어 출력으로 정확하게 변환하는 등 복잡한 입력에 대한 연속적인 벡터 연산을 통해 이를 입증한다.
• 이 방법은 내부 수정을 통해 고정밀도 행동 제어를 가능하게 하며, 예를 들어 ‘jump twice’를 ‘jump thrice’로 바꾸기 위해 ‘twice’의 벡터 인코딩을 ‘thrice’로 수정함으로써 실현된다.
• NECST 기반 모델은 표준 딥러닝 시스템의 투명성 부족 문제를 줄이고 제어 가능성 향상을 통해 강건성과 해석 가능성을 향상시킨다.
• 미래의 3세대 신경구성계산 시스템은 최적화 기반 처리, 구조적 중첩, 아키텍처적 편향을 통합하여 구성적 구조를 완전히 활용할 것이며, 언어 및 추론 분야의 중대한 발전을 이끌게 될 것이다.