[논문 리뷰] Language Design and Renormalization

Ángel J. Gallego, Román Orús|arXiv (Cornell University)|2017. 08. 04.

Quantum Computing Algorithms and Architecture인용 수 1

한 줄 요약

이 논문은 문법 이론에서의 언어적 MERGE 연산과 물리학적 정보의 군집화(renormalization) 사이의 형식적 동치성을 확립하며, 스토하스틱 텐서 네트워크—예를 들어 트리 텐서 네트워크와 행렬 곱 상태—기반 언어 모델이 이 과정을 구현하고 있음을 보여준다. 이 접근법은 언어 내 장거리 상관관계를 설명하고, 유한한 퍼플렉서티를 갖는 효율적인 양자계산 가능한 모델을 가능하게 한다.

ABSTRACT

Here we consider some well-known facts in syntax from a physics perspective, allowing us to establish equivalences between both fields with many consequences. Mainly, we observe that the operation MERGE, put forward by N. Chomsky in 1995, can be interpreted as a physical information coarse-graining. Thus, MERGE in linguistics entails information renormalization in physics, according to different time scales. We make this point mathematically formal in terms of language models. In this setting, MERGE amounts to a probability tensor implementing a coarse-graining, akin to a probabilistic context-free grammar. The probability vectors of meaningful sentences are given by stochastic tensor networks (TN) built from diagonal tensors and which are mostly loop-free, such as Tree Tensor Networks and Matrix Product States, thus being computationally very efficient to manipulate. We show that this implies the polynomially-decaying (long-range) correlations experimentally observed in language, and also provides arguments in favour of certain types of neural networks for language processing. Moreover, we show how to obtain such language models from quantum states that can be efficiently prepared on a quantum computer, and use this to find bounds on the perplexity of the probability distribution of words in a sentence. Implications of our results are discussed across several ambits.

연구 동기 및 목표

• 언어학적 문법 연산과 물리학에서의 재규격화 사이의 형식적 연결을 수립하기 위해.
• 초민감 프로그램에서의 MERGE가 정보 이론에서의 확률적 군집화에 해당됨을 보여주기 위해.
• 루프가 없는 스토하스틱 텐서 네트워크 기반 언어 모델이 자연어에서 관찰된 장거리 상관관계를 자연스럽게 생성함을 보여주기 위해.
• 유한한 퍼플렉서티를 갖는 언어 확률 분포의 효율적이고 양자계산 가능한 표현을 유도하기 위해.

제안 방법

• 확률 텐서를 사용하여 MERGE를 확률적 군집화 연산으로 해석하기 위해.
• 특히 트리 텐서 네트워크와 행렬 곱 상태를 포함한 대각 텐서로 구성된 스토하스틱 텐서 네트워크를 사용하여 의미 있는 문장을 모델링하기 위해.
• 계산 효율성을 보장하기 위해 계층적이고 루프가 없는 텐서 네트워크로 언어 모델을 형식화하기 위해.
• 제안된 언어 모델을 양자 컴퓨터에서 효율적으로 실현하기 위해 양자 상태 준비 기법을 사용하기 위해.
• 텐서 네트워크의 구조와 그 기반 양자 상태 표현을 분석하여 퍼플렉서티의 경계를 도출하기 위해.
• 통계역학에서의 재규격화군 흐름과 문법 유도 사이의 수학적 동치성을 확립하기 위해.

실험 결과

연구 질문

• RQ1 언어학적 연산인 MERGE는 어떻게 물리학적 정보 군집화 과정과 형식적으로 매핑될 수 있는가?
• RQ2 언어 모델에서 MERGE를 적용할 때 자연스럽게 도출되는 텐서 네트워크의 구조는 어떤 형태인가?
• RQ3 왜 자연어는 다항식적으로 감쇠하는 상관관계를 보이며, 이는 군집화 메커니즘으로부터 유도될 수 있는가?
• RQ4 MERGE 기반 언어 모델은 양자 컴퓨터에서 효율적으로 준비될 수 있으며, 이는 모델 복잡성에 어떤 영향을 미치는가?
• RQ5 이 프레임워크는 문장 내 단어 확률 분포의 퍼플렉서티에 어떤 제약을 가하는가?

주요 결과

• 언어학적 MERGE 연산은 물리학에서의 정보 군집화와 수학적으로 동치이며, 문법과 재규격화 사이의 깊이 있는 형식적 연결을 확립한다.
• 루프가 없는 스토하스틱 텐서 네트워크—예를 들어 트리 텐서 네트워크와 행렬 곱 상태—기반 언어 모델은 자연어에서 관측된 바와 일치하는 자연스러운 장거리 다항식 감쇠 상관관계를 생성한다.
• 이 프레임워크는 특정 신경망 아키텍처가 언어 모델링에서 효과적인 이유에 대한 이론적 근거를 제공하며, 특히 계층적 또는 재귀적 인도티브 바이어스를 가진 모델에 대해 그렇다.
• 이 모델에서 문장의 확률 분포는 양자 상태로 효율적으로 준비될 수 있어 언어 모델링에서 잠재적인 양자 우위를 가능하게 한다.
• 퍼플렉서티의 경계는 텐서 네트워크의 구조에서 도출되며, 이는 모델 복잡성에 대한 정량적 제약 조건을 제공한다.