[論文レビュー] Language Design and Renormalization

Ángel J. Gallego, Román Orús|arXiv (Cornell University)|Aug 4, 2017

Quantum Computing Algorithms and Architecture被引用数 1

ひとこと要約

本論文は、句法学的理論における言語的MERGE操作と、縮約による物理的情報粗視化の間の形式的同等性を確立し、Tree Tensor Networks や Matrix Product States などの確率的テンソルネットワークに基づく言語モデルが、このプロセスを実装していることを示している。このアプローチにより、言語における長距離相関が説明可能となり、有界なパープレキシティを持つ効率的な量子計算可能なモデルが可能になる。

ABSTRACT

Here we consider some well-known facts in syntax from a physics perspective, allowing us to establish equivalences between both fields with many consequences. Mainly, we observe that the operation MERGE, put forward by N. Chomsky in 1995, can be interpreted as a physical information coarse-graining. Thus, MERGE in linguistics entails information renormalization in physics, according to different time scales. We make this point mathematically formal in terms of language models. In this setting, MERGE amounts to a probability tensor implementing a coarse-graining, akin to a probabilistic context-free grammar. The probability vectors of meaningful sentences are given by stochastic tensor networks (TN) built from diagonal tensors and which are mostly loop-free, such as Tree Tensor Networks and Matrix Product States, thus being computationally very efficient to manipulate. We show that this implies the polynomially-decaying (long-range) correlations experimentally observed in language, and also provides arguments in favour of certain types of neural networks for language processing. Moreover, we show how to obtain such language models from quantum states that can be efficiently prepared on a quantum computer, and use this to find bounds on the perplexity of the probability distribution of words in a sentence. Implications of our results are discussed across several ambits.

研究の動機と目的

• 言語学における句法学的演算と物理学における縮約の間の形式的関係を確立すること。
• チョムスキーの最小主義プログラムにおけるMERGEが、情報理論における確率的粗視化に対応することを示すこと。
• ループのない確率的テンソルネットワークに基づく言語モデルが、自然言語に観察される長距離相関を自然に生成することを示すこと。
• 有界なパープレキシティを持つ言語確率分布の効率的で量子計算可能な表現を導出すること。

提案手法

• 確率的テンソルを用いてMERGEを確率的粗視化操作として解釈すること。
• 意味的な文を、対角テンソルから構築された確率的テンソルネットワーク（特にTree Tensor NetworksとMatrix Product States）としてモデル化すること。
• 計算効率を保証するため、階層的かつループのないテンソルネットワークとして言語モデルを形式化すること。
• 量子状態準備技術を用いて、提案された言語モデルを量子コンピュータ上で効率的に実装すること。
• テンソルネットワークの構造とその背後にある量子状態表現の分析を通じて、パープレキシティの上限を導出すること。
• 句法学的導出と統計物理学における縮約群の流れの間の数学的同等性を確立すること。

実験結果

リサーチクエスチョン

• RQ1 言語的演算であるMERGEを、情報の粗視化という物理的プロセスに形式的にマッピングする方法は何か？
• RQ2 言語モデルにおけるMERGEの適用から自然に生じるテンソルネットワークの構造はどのようなものか？
• RQ3 なぜ自然言語は多項式的に減少する相関を示すのか？これは粗視化機構から導出可能か？
• RQ4 MERGEに基づく言語モデルは量子コンピュータ上で効率的に準備可能か？そのモデルの複雑さにどのような意味があるか？
• RQ5 このフレームワークは、文における語の確率分布のパープレキシティにどのような制約を課えるか？

主な発見

• 言語学におけるMERGE操作は、物理学における情報の粗視化と数学的に同等であり、構文と縮約の間の深い形式的リンクを確立する。
• ループのない確率的テンソルネットワーク（例：Tree Tensor Networks や Matrix Product States）に基づく言語モデルは、自然言語の実証的観察と整合的な、自然な長距離・多項式的減衰相関を生成する。
• このフレームワークは、階層的または再帰的な帰納的バイアスを持つニューラルネットワークアーキテクチャの有効性に理論的根拠を提供する。
• このモデルにおける文の確率分布は、量子状態として効率的に準備可能であり、言語モデリングにおける量子優位性の可能性を秘めている。
• パープレキシティの上限はテンソルネットワークの構造から導出可能であり、モデルの複雑さに対する定量的制約を提供する。