[논문 리뷰] Language as a matrix product state

Vasily Pestun, John Terilla외 1명|arXiv (Cornell University)|2017. 11. 04.

semigroups and automata theory참고 문헌 3인용 수 9

한 줄 요약

이 논문은 양자 통계역학에 영감을 받은 행렬 곱 상태(MPS)를 사용하여 자연어의 장거리 상관관계를 포착하는 추적 밀도 모델을 제안한다. 왼쪽 및 오른쪽 밀도 연산자를 통한 이동 불변성과 등록 조건을 도입함으로써, 단어 시퀀스의 확률을 효율적으로 계산할 수 있으며, 거듭제곱 법칙에 따라 감쇠하는 상관관계를 모델링할 수 있는 프레임워크를 제공한다. 이는 고차원 언어 통계를 다루는 순환 신경망(RNN)의 유망한 대안이 된다.

ABSTRACT

We propose a statistical model for natural language that begins by considering language as a monoid, then representing it in complex matrices with a compatible translation invariant probability measure. We interpret the probability measure as arising via the Born rule from a translation invariant matrix product state.

연구 동기 및 목표

• n-gram 및 RNN 기반 모델이 자연어에서 장거리, 거듭제곱 법칙에 따라 감쇠하는 상관관계를 포착하는 데에 한계가 있음을 해결하고자 한다.
• 행렬 곱 상태(MPS)를 활용하여 고차원 언어 데이터의 효율적 표현을 가능하게 하는 양자 다체역학 물리학에 기반한 통계적 언어 모델을 개발하고자 한다.
• 왼쪽 및 오른쪽 밀도 제약 조건을 통해 이동 불변성과 확률 보존을 강제하는 추적 밀도 모델을 도입하고자 한다.
• 텐서 네트워크와 양자에 영감을 받은 확률 측도를 사용하여 언어 모델링을 위한 수학적으로 엄밀한 표현 이론적 프레임워크를 제공하고자 한다.
• 물리적 제약 조건 하에서 최대 로그우도 최적화를 통해 학습을 가능하게 하고, 시퀀스에 대한 의미 있는 확률 분포를 보장하고자 한다.

제안 방법

• 어휘 요소를 텐서 네트워크 프레임워크 내의 행렬으로 매핑하여 언어를 단어 시퀀스의 모노이드로 표현한다.
• 일차원 단어 격자에 작용하는 이동 불변 텐서 $M_i$를 갖는 행렬 곱 상태(MPS)를 사용한다.
• 왼쪽 및 오른쪽 밀도 제약 조건을 도입한다: $\sum_i M_i^* M_i = P_L$ 및 $\hat{M}(P_R) = P_R$로, 추적 정규화와 확률 보존을 보장한다.
• 보른 규칙을 사용하여 추적 밀도를 확률 측도로 해석한다: 길이 $k$인 어구의 확률은 $\text{Tr}(P_L \hat{M}^k(\rho))$로 주어진다.
• MPS 매개수를 학습하기 위해 밀도 행렬 재규격화 및 최대 엔트로피/에너지 최소화 기법을 적용한다.
• 유니터리 군 작용과 모멘트 맵 구조를 사용하여 표현 이론과 언어 모델링을 연결한다.

실험 결과

연구 질문

• RQ1 양자에 영감을 받은 텐서 네트워크 모델은 기존의 n-gram 또는 RNN과 같은 고전적 모델이 표현하지 못하는 언어의 장거리 상관관계를 포착할 수 있는가?
• RQ2 이동 불변 행렬 곱 상태는 어떻게 제약 조건을 통해 단어 시퀀스에 대한 일관된 확률 측도를 도출할 수 있는가?
• RQ3 양자 통계 프레임워크 내에서 언어 상관관계의 거듭제곱 법칙 감쇠 현상이 나타나는 데에 기여하는 수학적 구조는 무엇인가?
• RQ4 물리적 제약 조건 하에서 최대 로그우도 최적화를 통해 추적 밀도 모델을 효과적으로 학습시킬 수 있는가?
• RQ5 왼쪽 및 오른쪽 밀도 연산자가 시퀀스 길이에 관계없이 확률 측도의 정규화와 일관성을 보장하는 데에서 수행하는 역할은 무엇인가?

주요 결과

• 왼쪽 및 오른쪽 밀도 제약 조건을 모두 만족하는 추적 밀도 모델이 존재하며, 이는 $P_L = I$, $P_R = \frac{1}{n}I$, 및 $M_i = \frac{1}{\sqrt{n}}I$를 사용한 명시적 구성에 의해 입증된다.
• 왼쪽 밀도 제약 조건은 텐서 네트워크의 등록성을 보장하며, 유니터리 군 작용 하에서 동차 공간 $\mathrm{Gr}_d(\mathbb{C}^{nd})$ 를 형성한다.
• 왼쪽 밀도 제약 조건을 만족하는 임의의 텐서 $M$에 대해, $\hat{M}(P_R) = P_R$ 를 만족하는 오른쪽 밀도 $P_R$ 가 존재하므로, 일관된 확률 측도의 존재가 보장된다.
• 연산자 $\hat{M}(A) = \sum_i M_i A M_i^*$ 는 초평면 $\operatorname{tr}(P_L A) = 1$ 를 유지하므로, 브라우어 고정점 정리를 적용하여 $P_R$ 의 존재를 증명할 수 있다.
• 모든 고정 길이의 어구에 대한 총 추적 밀도가 1이 되도록 보장되며, 이는 실제 어구의 우도를 최대화하면 무의미한 어구의 밀도가 최소화됨을 의미한다.
• 최대 로그우도를 통한 효율적 학습이 가능하며, 밀도 행렬 재규격화 그룹(DMRG)과 같은 재규격화 기법을 적용할 수 있다.