[논문 리뷰] Tensor network language model

Vasily Pestun, Yiannis Vlassopoulos|arXiv (Cornell University)|2017. 10. 27.

Tensor decomposition and applications참고 문헌 37인용 수 11

한 줄 요약

이 논문은 통계역학의 재규격화군 흐름에 영감을 받아, 나무 모양의 위상 구조를 가진 등거리 텐서 네트워크를 기반으로 한 텐서 네트워크 언어 모델을 제안한다. 이 모델은 장거리 상관관계를 포착할 수 있도록 계층적 구조를 통해 임계성을 달성하며, 고차원 '의미' 레이어에서 유니터리 변환을 통해 효과적인 언어 모델링과 통계적 번역을 가능하게 한다.

ABSTRACT

We propose a new statistical model suitable for machine learning of systems with long distance correlations such as natural languages. The model is based on directed acyclic graph decorated by multi-linear tensor maps in the vertices and vector spaces in the edges, called tensor network. Such tensor networks have been previously employed for effective numerical computation of the renormalization group flow on the space of effective quantum field theories and lattice models of statistical mechanics. We provide explicit algebro-geometric analysis of the parameter moduli space for tree graphs, discuss model properties and applications such as statistical translation.

연구 동기 및 목표

• 기존의 은닉 마르코프 모델과 같은 전통적 모델이 지수 감쇠(질량 간격)를 보이며 자연어의 장거리 상관관계를 포착하지 못하는 데 기인한 실패를 해결하고자 한다. 이는 실제 언어에서 관찰되는 거듭제곱 감쇠와 모순된다.
• 계층적 텐서 네트워크 구조를 활용하여 자연어에서 관찰되는 거듭제곱 상관관계 감쇠(I(l) ∝ l⁻⁰.³⁷)를 자연스럽게 재현하는 임계성을 띠는 통계적 언어 모델을 개발하고자 한다.
• 재규격화군 흐름의 적외선(IR) 척도에서 서로 다른 언어가 같은 보편성 클래스에 속할 것으로 추측되는 공통의 '의미' 레이어를 식별함으로써, 두 언어 간의 통계적 번역을 가능하게 하고자 한다.
• 특히 나무 그래프에 대해 등거리 텐서 네트워크의 매개변수 모듈리 공간을 플라그 다양체와 미분기하학을 사용하여 기하학적·대수기하학적 프레임워크로 분석하고자 한다.
• 텐서 네트워크 언어 모델의 학습과 샘플링을 위한 이론적 기반을 마련하고자 하며, 네트워크 구조에 대해 유사 역전파 규칙를 적용한 효율적 순환 평가 및 기울기 계산을 가능하게 한다.

제안 방법

• 정점에 다중선형 등거리 텐서 사상과 간선에 벡터 공간을 가진 방향성 없는 사이클이 없는 그래프(DAG)를 사용하며, 이는 노름을 유지하는 등거리 순순수 상태 텐서 네트워크를 형성한다.
• 네트워크는 나무 구조를 기반으로 순환적으로 조합하여 구성되며, 단어 상태가 고차원의 문장 상태로 조합되며, 통계장이론의 재규격화군 흐름을 모방한다.
• 문장의 확률은 ⟨Ψ|o_s₁…sₖ|Ψ⟩의 내적을 통해 계산되며, o_s₁…sₖ는 첫 k개의 단어를 고정하는 프로젝션 연산자이다. 이는 자동회귀적 생성과 학습을 가능하게 한다.
• 학습은 조합 사상에 대해 체인 규칙(역전파)을 적용한 텐서 네트워크 매개변수에 대한 경사하강법을 통해 수행되며, 기울기는 네트워크의 순환적 구조를 따라 당김(backpull)을 통해 계산된다.
• 샘플링은 각 잎에서 상태 벡터를 순환적으로 평가하고, 그 진폭 분포 |ψ_s|²에 기반하여 문장 시퀀스를 생성함으로써 수행되며, 이는 전체 문장의 확률적 출력을 가능하게 한다.
• 번역을 위해 두 언어 네트워크의 고차원 '의미' 레이어(IR 척도) 사이에 유니터리 변환 S₂₁을 적용하며, 언어 L₁의 상태를 L₂의 상태 초합성으로 매핑하고 확률 |ψ_s|²을 부여한다.

실험 결과

연구 질문

• RQ1 나무 모양의 위상과 등거리 사상을 갖는 텐서 네트워크 모델이, 기존의 질량 간격 모델과 달리 자연어에서 관찰되는 거듭제곱 상관관계 감쇠(I(l) ∝ l⁻⁰.³⁷)를 재현할 수 있는가?
• RQ2 등거리 텐서 네트워크의 매개변수 모듈리 공간은 기하학적으로 어떻게 기술될 수 있으며, 특히 나무 그래프의 경우 이는 모델의 표현력과 학습에 어떤 영향을 미치는가?
• RQ3 재규격화군 흐름의 적외선(IR) 척도에서 유일한 '의미' 레이어를 식별할 수 있는가? 만약 그렇다면, 서로 다른 인간 언어들이 동일한 임계 보편성 클래스에 속할 수 있는가?
• RQ4 제안된 모델이 서로 다른 언어의 등거리 텐서 네트워크를 고차원 레이어에서 유니터리 변환으로 연결함으로써 통계적 번역을 어느 정도 지원할 수 있는가?
• RQ5 네트워크의 계층적·순환적 구조를 감안할 때, 효율적인 학습과 샘플링은 어떻게 달성될 수 있는가?

주요 결과

• 모델은 자연어의 장거리 상관관계를 성공적으로 포착하며, 실제 텍스트(예: 'Moby Dick'과 그림문학)에서 관측된 거듭제곱 상관관계 감쇠(I(l) ∝ l⁻⁰.³⁷)를 재현한다.
• 나무 구조를 가진 등거리 텐서 네트워크는 매개변수 모듈리 공간에 대해 기하학적 프레임워크를 제공하며, 이는 플라그 다양체로 식별되며 모델 매개변수의 대수기하학적 분석을 가능하게 한다.
• 두 언어 네트워크를 고차원 '의미' 레이어에서 유니터리 변환 S₂₁로 연결함으로써 통계적 번역이 가능하며, 이는 확률 |ψ_s|²을 부여한 번역된 어휘 조합의 초합성을 생성한다.
• 샘플링은 나무를 따라 순환적으로 평가함으로써 효율적으로 구현되며, 단어 시퀀스에 프로젝션을 가한 후 상태 벡터의 노름을 통해 문장 확률을 유도할 수 있다.
• 학습은 조합 사상에 대해 체인 규칙(역전파)을 적용한 기울기 계산을 통해 효율적으로 수행되며, 국소 기울기는 네트워크의 구조를 따라 당김을 통해 계산된다.
• 모델은 인간의 자연어가 재규격화군 흐름의 적외선 척도에서 동일한 임계 보편성 클래스에 속할 수 있음을 시사하며, 언어 다양성의 배경에 공통된 의미나 개념 레이어가 존재할 수 있음을 지지한다.