[論文レビュー] Language as a matrix product state

Vasily Pestun, John Terilla+1 more|arXiv (Cornell University)|Nov 4, 2017

semigroups and automata theory参考文献 3被引用数 9

ひとこと要約

この論文は、量子統計物理学にインspiredされた行列積状態（MPS）を用いて、自然言語の長距離相関を捉えるトレース密度モデルを提案する。左および右の密度演算子を用いた並進不変性・等長性制約を課すことにより、語の系列の確率を効率的に計算可能であり、べき乗則に従って減少する相関をモデル化できる枠組みを提供する。これは、高次言語統計を扱うための再帰的ニューラルネットワークの有望な代替手法である。

ABSTRACT

We propose a statistical model for natural language that begins by considering language as a monoid, then representing it in complex matrices with a compatible translation invariant probability measure. We interpret the probability measure as arising via the Born rule from a translation invariant matrix product state.

研究の動機と目的

• n-gram や RNN に基づくモデルが自然言語における長距離・べき乗則に従う相関を捉えることのできない限界を克服すること。
• 行列積状態（MPS）を用いて高次元の言語データを効率的に表現できる、量子多体系物理学に根ざした統計的言語モデルの構築。
• 左および右の密度制約を用いて並進不変性と確率保存を強制するトレース密度モデルの導入。
• テンソルネットワークと量子にインspiredされた確率測度を用いた、数学的に厳密で表現論的枠組みに基づく言語モデリングの構築。
• 物理的制約の下で最大対数尤度最適化を用いた訓練を可能にし、系列上の意味的な確率分布を保証すること。

提案手法

• 言語を語の系列のモノイドとして表現し、語彙の要素をテンソルネットワークフレームワーク内での行列に写像する。
• 語の一次元格子上に作用する並進不変性を持つテンソル $M_i$ を有する行列積状態（MPS）を採用する。
• 左および右の密度制約を課す：$\sum_i M_i^* M_i = P_L$ および $\hat{M}(P_R) = P_R$ により、トレース正規化と確率保存を保証する。
• ボーンの法則を用いてトレース密度を確率測度として解釈する：$\text{Tr}(P_L \hat{M}^k(\rho))$ は長さ $k$ のフレーズの確率を与える。
• MPSのパラメータを訓練するために、密度行列の縮約化および最大エントロピー／エネルギー最小化技術を適用する。
• ユニタリ群の作用とモーメント写像構造を用いてモデルを構築し、表現論と言語モデリングを結びつける。

実験結果

リサーチクエスチョン

• RQ1 量子にインspiredされたテンソルネットワークモデルは、n-gram や RNN が表現できないような言語の長距離相関を捉えることができるか？
• RQ2 並進不変性を持つ行列積状態は、どのように制約を課すことで語系列上の一貫した確率測度を生じさせるか？
• RQ3 量子統計フレームワーク内において、言語の相関がべき乗則に従って減少する背後にある数学的構造は何か？
• RQ4 物理的制約の下で最大対数尤度最適化を用いて、トレース密度モデルを効果的に訓練できるか？
• RQ5 左および右の密度演算子は、系列長にわたる確率測度の正規化と一貫性を保証するために果たす役割は何か？

主な発見

• 左および右の密度制約を満たすトレース密度モデルが存在することが、明示的構成 $P_L = I$、$P_R = \frac{1}{n}I$、$M_i = \frac{1}{\sqrt{n}}I$ を用いて示された。
• 左の密度制約によりテンソルネットワークの等長性が保証され、ユニタリ群の作用の下で一様空間 $\mathrm{Gr}_d(\mathbb{C}^{nd})$ を形成する。
• 左の密度制約を満たす任意のテンソル $M$ に対して、$\hat{M}(P_R) = P_R$ を満たす右の密度 $P_R$ が存在することが保証され、一貫した確率測度の存在が保証される。
• 演算子 $\hat{M}(A) = \sum_i M_i A M_i^*$ は、超平面 $\operatorname{tr}(P_L A) = 1$ を保存するため、ブロワーの不動点定理を適用して $P_R$ の存在を証明できる。
• すべての固定長のフレーズにおける総トレース密度が1に等しいことが保証されるため、実際のフレーズの尤度を最大化することは、無意味なフレーズの密度を最小化することに相当する。
• 最大対数尤度による効率的な訓練が可能であり、密度行列の縮約群（DMRG）のような正規化技術の適用も可能である。