[논문 리뷰] A Biologically Plausible Parser

Daniel Mitropolsky, Michael Collins외 1명|arXiv (Cornell University)|2021. 08. 04.

Natural Language Processing Techniques참고 문헌 31인용 수 6

한 줄 요약

이 논문은 뇌 기능을 스타일화된 뉴런, 시냅스 및 동적 어셈블리 연산으로 모델링하는 계산 프레임워크인 어셈블리 미적분(Assembly Calculus)을 통해 생물학적으로 타당한 신경 구문 분석기를 구현한다. 이는 200개의 복잡한 영어 문장과 러시아어 테스트 세트를 일관된 의존 구조로 성공적으로 분석하며, 고수준의 문법 처리가 생물학적으로 현실적인 신경 역학에서 유추될 수 있음을 보여준다.

ABSTRACT

We describe a parser of English effectuated by biologically plausible neurons and synapses, and implemented through the Assembly Calculus, a recently proposed computational framework for cognitive function. We demonstrate that this device is capable of correctly parsing reasonably nontrivial sentences. While our experiments entail rather simple sentences in English, our results suggest that the parser can be extended beyond what we have implemented, to several directions encompassing much of language. For example, we present a simple Russian version of the parser, and discuss how to handle recursion, embedding, and polysemy.

연구 동기 및 목표

• 생물학적으로 타당하고 알려진 신경생리학 원리에 기반한 문장 분석 신경 모델을 개발한다.
• 고수준의 언어 처리—특히 문법적 분석—이 간단한 뉴런 수준의 동역학과 시냅스 가소성에서 유추될 수 있음을 입증한다.
• 어셈블리 미적분 프레임워크가 언어 분석과 같은 복잡한 인지 기능에 대해 확장성과 신뢰성을 갖추고 있음을 검증한다.
• 비영어어(예: 러시아어)로 모델을 확장하고 재귀, 임bedding, 다의어 처리 능력을 탐색한다.
• 어셈블리 형성과 상호작용의 동적 과정으로서의 분석을 시뮬레이션하여 신경과학과 계산 언어학 간의 계산적 다리를 구축한다.

제안 방법

• 각 단어를 전용 어휘 영역(Lex) 내에서 고유한 신경 어셈블리로 인코딩하고, 무작위로 희박한 연결성과 히브시안 가소성을 사용한다.
• 입력 문장을 단어 어셈블리의 순차적 활성화를 통해 처리한 후, 투영 및 병합 연산을 통해 뇌 영역 간의 동적 상호작용을 수행한다.
• 최종 활성 어셈블리 상태로부터 의존 구조를 재구성하는 읽기 절차를 사용하여, 올바른 분석 결과와 일관된 구조를 확보한다.
• 어휘 기반 분석과 의존 구조 형성 지원을 위해 원래의 어셈블리 미적분을 개선한 연산을 도입한다.
• 무작위 연결망과 억제 메커니즘 덕분에 올바른 분석이 높은 확률로 유도되는 비결정론적 프레임워크를 사용한다.
• 20개의 문법 템플릿에 걸친 200개의 영어 문장과 사례 표시가 있는 러시아어 문장의 24가지 순열에 대한 시뮬레이션을 통해 결과를 검증한다.

실험 결과

연구 질문

• RQ1 생물학적으로 타당한 뉴런과 시냅스를 기반으로 하는 신경 시스템이 어셈블리 수준의 연산만으로 복잡한 영어 문장을 신뢰성 있게 분석할 수 있는가?
• RQ2 어셈블리 미적분 프레임워크가 뇌 과학적으로 현실적인 방식으로 의존 구조와 같은 동적 문법적 구조를 형성하는 데 얼마나 잘 기여할 수 있는가?
• RQ3 재귀, 임베딩, 사례 표시(예: 러시아어)를 포함한 다양한 문법적 유형에 대해 분석기가 얼마나 일반화되는가?
• RQ4 단어의 정체성과 국소적 맥락에 따라 달라지는 맥락 기반 동작이 어셈블리 미적분 프레임워크 내에서 신경적으로 인코딩되고 구현될 수 있는가?
• RQ5 현재 형식주의가 레이블이 붙은 의존 트리를 인식하는 데서 겪는 한계는 무엇이며, 맥락 기반 동작에 대한 오라클을 구축할 수 있는가?

주요 결과

• 읽기 절차가 일관되게 정확한 의존 구조를 복원함으로써, 20개의 문법 템플릿에 걸쳐 200개의 영어 문장 모두가 정확하게 분석되었다.
• 러시아어의 경우, 세 개의 목적어를 포함한 문장의 24가지 순열 전역에서 동일한 의존 구조를 생성하였으며, 주어, 간접 목적어, 직접 목적어 역할을 정확히 식별하였다.
• 모델은 인간 뇌의 언어 처리 능력과 비슷한 속도로 작동하며, 뉴런의 발화 사이클 수준에서 합리적인 수의 반복으로 분석을 완료하였다.
• 모델은 점진적 처리를 보이며, 실시간 문장 이해에 대한 심리언어학적 발견과 일치한다.
• 결과는 고수준의 인지 기능인 분석이 히브시안 가소성과 억제에 의해 지배되는 저수준의 신경 역학에서 유추될 수 있다는 가설을 지지한다.
• 프레임워크는 다의어, 재귀, 임베딩 처리 가능성을 보여주지만, 현재 버전에서는 완전히 통합되지 않았다.