[論文レビュー] Tensor network language model

Vasily Pestun, Yiannis Vlassopoulos|arXiv (Cornell University)|Oct 27, 2017

Tensor decomposition and applications参考文献 37被引用数 11

ひとこと要約

この論文は、統計物理学におけるレノルミゼーション群フローにインspiredされた木構造のトランスフォーマーを用いた等長的テンソルネットワークに基づく言語モデルを提案する。このモデルは階層的構造によって臨界性を達成し、高レベルの「意味」層におけるユニタリ変換を通じて、有効な言語モデリングと統計的翻訳を可能にする。

ABSTRACT

We propose a new statistical model suitable for machine learning of systems with long distance correlations such as natural languages. The model is based on directed acyclic graph decorated by multi-linear tensor maps in the vertices and vector spaces in the edges, called tensor network. Such tensor networks have been previously employed for effective numerical computation of the renormalization group flow on the space of effective quantum field theories and lattice models of statistical mechanics. We provide explicit algebro-geometric analysis of the parameter moduli space for tree graphs, discuss model properties and applications such as statistical translation.

研究の動機と目的

• 従来の隠れマルコフモデルなどのモデルが、指数関数的減衰（質量ギャップ）を示すため、自然言語における観察されたべき乗則的減衰とは矛盾する長距離相関を捉えることができないという問題に対処すること。
• 階層的テンソルネットワーク構造を活用することで、自然言語で観察されるべき乗則的相互情報量減衰（I(l) ∝ l⁻⁰.³⁷）を自然に示す臨界性を示す統計的言語モデルを開発すること。
• レノルミゼーション群フローの赤外（IR）スケールにおける共通の「意味」層を同定することで、異なる言語間の統計的翻訳を可能にすること。ここでは、異なる言語が同じ普遍性クラスに属すると仮定されている。
• 特に木構造に対して、フラッグ多様体と微分幾何学を用いて、等長的テンソルネットワークのパラメータモジュライ空間を幾何学的かつ代数的幾何学的枠組みで分析するためのフレームワークを提供すること。
• 階層的かつ再帰的なネットワーク構造を考慮し、再帰的評価とバックプロパゲーションに類似したルールによる勾配計算を用いた、テンソルネットワーク言語モデルにおける学習とサンプリングの理論的基盤を確立すること。

提案手法

• 頂点に多線形等長的テンソル写像、エッジにベクトル空間を持つ有向非巡回グラフ（DAG）を用い、階層的合成においてノルムを保存する等長純状態テンソルネットワークを構築する。
• 木構造を用いた再帰的合成によりネットワークを構築：語の状態が上位レベルで文の状態に統合され、統計場理論におけるレノルミゼーション群フローを模倣する。
• 文の確率は、最初のk語を固定する射影演算子 o_s₁…sₖ を用いた内積 ⟨Ψ|o_s₁…sₖ|Ψ⟩ により計算され、自己回帰的生成と学習が可能になる。
• 合成写像にチェインルール（バックプロパゲーション）を適用し、パラメータの勾配を勾配降下法で最適化する。勾配はネットワークの再帰的構造に沿って引き戻し（pullback）により計算される。
• サンプリングは、各リーフで状態ベクトルを再帰的に評価し、振幅分布 |ψ_s|² に基づいて系列を生成することで実現され、全文の確率的出力を可能にする。
• 翻訳のためには、2つの言語ネットワークの高レベル「意味」層（IRスケール）間にユニタリ変換 S₂₁ を適用し、L₁の状態をL₂の状態の重ね合わせにマッピングし、確率 |ψ_s|² を伴う。

実験結果

リサーチクエスチョン

• RQ1 木構造のトポロジーと等長写像を持つテンソルネットワークモデルは、従来の質量ギャップを持つモデルとは異なり、自然言語で観察されるべき乗則的相互情報量減衰（I(l) ∝ l⁻⁰.³⁷）を再現できるか？
• RQ2 等長的テンソルネットワークのパラメータモジュライ空間は、特に木構造に対してどのように幾何学的に記述できるか？また、これはモデルの表現力と学習にどのような意味を持つのか？
• RQ3 レノルミゼーション群フローの赤外（IR）スケールに普遍的な「意味」層を同定できるか？ その場合、異なる人間の言語が同じ臨界普遍性クラスに属するか？
• RQ4 異なる言語の等長的テンソルネットワークを、高レベルの層でユニタリ変換により接続することで、このモデルがどの程度統計的翻訳を可能にするか？
• RQ5 階層的かつ再帰的なネットワーク構造を考慮すると、このモデルで効率的な学習とサンプリングをどのように達成できるか？

主な発見

• モデルは、自然言語における長距離相関を、実際のテキスト（例：『Moby Dick』やグリム童話）の測定結果と整合するべき乗則的相互情報量減衰（I(l) ∝ l⁻⁰.³⁷）を示すことにより、的確に捉えている。
• 木構造の等長的テンソルネットワークは、パラメータモジュライ空間がフラッグ多様体として同定される幾何的フレームワークを提供し、モデルパラメータの代数的幾何学的解析を可能にする。
• 2つの言語ネットワークを高レベルの「意味」層でユニタリ変換 S₂₁ で接続することで、モデルは統計的翻訳を可能にし、関連する確率 |ψ_s|² を伴う翻訳フレーズの重ね合わせを生成する。
• サンプリングは、木構造上の再帰的評価により効率的に実装され、語の系列に射影した後の状態ベクトルのノルムから、系列の確率が導かれる。
• 学習は、合成写像にチェインルール（バックプロパゲーション）を適用し、局所的勾配をネットワーク構造に沿って引き戻しにより計算することで、効率的に実行される。
• モデルは、すべての人類の自然言語が、レノルミゼーション群フローの赤外（IR）スケールにおいて同じ臨界普遍性クラスに属すると示唆しており、言語の多様性の背後にある共通の意味的または概念的層の存在を支持する。