[논문 리뷰] The physical structure of grammatical correlations: equivalences, formalizations and consequences.

Ángel J. Gallego, Román Orús|arXiv (Cornell University)|2017. 08. 04.

Computational Physics and Python Applications인용 수 4

한 줄 요약

이 논문은 언어의 문법적 구조를 물리학에 영감을 받은 형식으로 제안하며, 찬스키의 MERGE 연산이 확률적 텐서 네트워크를 통한 물리적 정보의 군집화에 해당함을 보여준다. 이 틀은 언어 내에서 장거리 상관관계를 자연스럽게 생성하고, 유한한 혼란도를 갖는 효율적인 양자계산 가능한 언어 모델을 가능하게 한다.

ABSTRACT

Here we consider some well-known facts in syntax from a physics perspective, allowing us to establish equivalences between both fields with many consequences. Mainly, we observe that the operation MERGE, put forward by N. Chomsky in 1995, can be interpreted as a physical information coarse-graining. Thus, MERGE in linguistics entails information renormalization in physics, according to different time scales. We make this point mathematically formal in terms of language models. In this setting, MERGE amounts to a probability tensor implementing a coarse-graining, akin to a probabilistic context-free grammar. The probability vectors of meaningful sentences are given by stochastic tensor networks (TN) built from diagonal tensors and which are mostly loop-free, such as Tree Tensor Networks and Matrix Product States, thus being computationally very efficient to manipulate. We show that this implies the polynomially-decaying (long-range) correlations experimentally observed in language, and also provides arguments in favour of certain types of neural networks for language processing. Moreover, we show how to obtain such language models from quantum states that can be efficiently prepared on a quantum computer, and use this to find bounds on the perplexity of the probability distribution of words in a sentence. Implications of our results are discussed across several ambits.

연구 동기 및 목표

• 언어학에서의 문법적 연산과 물리적 정보 군집화 과정 사이의 형식적 동치성을 확립하기 위해.
• 루프가 없는 계산적으로 효율적인, Loop-free이고 계산적으로 효율적인 스토하스틱 텐서 네트워크를 사용하여 의미 있는 문장을 모델링하기 위해, 예를 들어 트리 텐서 네트워크와 행렬 곱 상태를 포함한다.
• 이러한 텐서 네트워크의 수학적 구조를 통해 실험적으로 관찰된 언어 내 장거리 상관관계를 설명하기 위해.
• 이러한 언어 모델이 양자 컴퓨터에서 효율적으로 준비될 수 있음을 보여주고, 혼란도에 대한 경계를 제공하기 위해.
• 물리적 원리에 기반한 특정 신경망 아키텍처의 효과성에 대한 이론적 근거를 제공하기 위해.

제안 방법

• 물리학에서의 재규격화와 유사한 방식으로, 언어학적 연산인 MERGE를 확률적 정보 군집화의 한 형태로 해석하기 위해.
• 특히 트리 텐서 네트워크와 행렬 곱 상태를 포함한 대각 텐서로 구성된 스토하스틱 텐서 네트워크로서 문장의 확률 벡터를 형식화하기 위해.
• 이러한 텐서 네트워크의 구조를 활용하여 언어 데이터에서 다항식 감쇠(장거리) 상관관계의 기원을 도출하기 위해.
• 결과적으로 도출된 언어 모델을 양자 컴퓨터에서 효율적으로 준비할 수 있는 양자 상태로 매핑하기 위해.
• 모델의 텐서 네트워크 및 양자 상태 구조를 기반으로 단어 확률 분포의 혼란도에 대한 경계를 유도하기 위해.
• 텐서 네트워크 표현을 통해 형식 문법과 물리적 군집화 과정 사이의 수학적 동치성을 확립하기 위해.

실험 결과

연구 질문

• RQ1 언어학적 연산인 MERGE는 물리학적 과정, 예를 들어 정보 군집화와 어떻게 형식적으로 매핑될 수 있는가?
• RQ2 언어 모델의 텐서 네트워크 구조는 자연스럽게 어떤 종류의 통계적 상관관계를 생성하는가? 그리고 이는 경험적 관찰과 어떻게 비교되는가?
• RQ3 이 틀에 기반한 언어 모델은 양자 컴퓨터에서 효율적으로 실현될 수 있는가? 이는 그 복잡성에 어떤 제약을 가하는가?
• RQ4 이 물리적 유사성은 자연어 처리에서 신경망 아키텍처의 설계 및 성능에 어떤 영향을 미치는가?
• RQ5 기본 텐서 네트워크 및 양자 상태 구조를 기반으로 하여 이러한 모델에서의 단어 예측 혼란도는 어떻게 경계될 수 있는가?

주요 결과

• 문법의 MERGE 연산은 시간 척도에 걸친 재규격화와 유사한 방식으로 물리적 정보 군집화 과정과 형식적으로 동치이다.
• 루프가 없는 스토하스틱 텐서 네트워크, 예를 들어 트리 텐서 네트워크와 행렬 곱 상태를 기반으로 한 언어 모델은 문장 구조에서 다항식 감쇠(장거리) 상관관계를 자연스럽게 생성한다.
• 의미 있는 문장의 확률 벡터는 양자 컴퓨터에서 효율적으로 준비할 수 있는 양자 상태로 표현될 수 있으며, 이는 모델 표현에서 양자 우월성을 가능하게 한다.
• 이 틀은 텐서 네트워크 및 양자 상태 구조를 기반으로 단어 예측의 혼란도에 대한 명시적 경계를 제공한다.
• 이 모델은 물리적 군집화 원리와의 일치를 바탕으로 자연어 처리에서 특정 신경망 아키텍처의 효과성에 대한 이론적 근거를 제공한다.
• 이 형식은 형식 문법과 물리적 군집화 사이에 깊이 있는 수학적 동치성을 확립하며, 언어학, 정보 이론, 양자 물리학의 개념을 통합한다.