[論文レビュー] The physical structure of grammatical correlations: equivalences, formalizations and consequences.

Ángel J. Gallego, Román Orús|arXiv (Cornell University)|Aug 4, 2017

Computational Physics and Python Applications被引用数 4

ひとこと要約

本稿では、言語における句構造の物理的インスピレーションを受ける形式的定式化を提案し、チョムスキーのMERGE操作が確率的テンソルネットワークによる物理的情報粗視化に対応することを示している。この枠組みにより、言語に自然に長距離相関が生じ、有界なパープレキシティを備えた効率的な量子計算可能な言語モデルが得られることが明らかになった。

ABSTRACT

Here we consider some well-known facts in syntax from a physics perspective, allowing us to establish equivalences between both fields with many consequences. Mainly, we observe that the operation MERGE, put forward by N. Chomsky in 1995, can be interpreted as a physical information coarse-graining. Thus, MERGE in linguistics entails information renormalization in physics, according to different time scales. We make this point mathematically formal in terms of language models. In this setting, MERGE amounts to a probability tensor implementing a coarse-graining, akin to a probabilistic context-free grammar. The probability vectors of meaningful sentences are given by stochastic tensor networks (TN) built from diagonal tensors and which are mostly loop-free, such as Tree Tensor Networks and Matrix Product States, thus being computationally very efficient to manipulate. We show that this implies the polynomially-decaying (long-range) correlations experimentally observed in language, and also provides arguments in favour of certain types of neural networks for language processing. Moreover, we show how to obtain such language models from quantum states that can be efficiently prepared on a quantum computer, and use this to find bounds on the perplexity of the probability distribution of words in a sentence. Implications of our results are discussed across several ambits.

研究の動機と目的

• 言語学における句構造操作と物理的プロセスである情報粗視化の間の形式的同等性を確立すること。
• ループのない計算効率の良い、確率的テンソルネットワーク（特にツリーテンソルネットワークと行列積状態）を用いて意味のある文をモデル化すること。
• これらのテンソルネットワークの数学的構造を通じて、言語データに実験的に観察された長距離相関を説明すること。
• このような言語モデルが量子コンピュータ上で効率的に準備可能であることを示し、パープレキシティに境界を設けること。
• 物理的原理に基づいて、自然言語処理における特定のニューラルネットワークアーキテクチャの有効性を理論的に裏付けること。

提案手法

• 物理学における自己同形化（レノルミズェーション）に類似した確率的情報粗視化の一種として、言語的演算MERGEを解釈すること。
• 対角テンソルから構成される確率的テンソルネットワークとして、文の確率ベクトルを形式化し、特にツリーテンソルネットワークと行列積状態を対象とする。
• これらのテンソルネットワークの構造を用いて、言語データにおいて多項式的に減衰する（長距離の）相関が自然に出現することを導出すること。
• 得られた言語モデルを、量子コンピュータ上で効率的に準備可能な量子状態にマッピングすること。
• モデルのテンソルネットワークおよび量子状態構造を用いて、語の確率分布のパープレキシティに境界を導出すること。
• テンソルネットワーク表現を通じて、形式文法と物理的粗視化プロセスの間の数学的同等性を確立すること。

実験結果

リサーチクエスチョン

• RQ1 言語的演算MERGEを、情報粗視化のような物理的プロセスに正式にマッピングする方法は何か？
• RQ2 言語モデルのテンソルネットワーク構造が自然に生じさせる統計的相関はどのようなものか？また、実験的観察と比較してどうなるか？
• RQ3 この枠組みに基づく言語モデルは、量子コンピュータ上で効率的に実装可能か？その際、複雑さにどのような制約が課されるか？
• RQ4 この物理的類似性は、自然言語処理におけるニューラルネットワークの設計と性能にどのような意味を持つのか？
• RQ5 下位のテンソルネットワークおよび量子状態構造を用いて、このようなモデルにおける語の予測パープレキシティをどのように境界づけることができるか？

主な発見

• 構文におけるMERGE操作は、時間スケールにわたる自己同形化と形式的に同等である。
• ループのない確率的テンソルネットワーク（特にツリーテンソルネットワークと行列積状態）に基づく言語モデルは、文構造において自然に多項式的に減衰する（長距離の）相関を生じる。
• 意味のある文の確率ベクトルは、量子コンピュータ上で効率的に準備可能な量子状態として表現可能であり、モデル表現における量子優位性を実現する。
• この枠組みは、テンソルネットワークおよび量子状態構造から導かれる、語の予測パープレキシティの明示的境界を提供する。
• モデルは、物理的粗視化原理と整合する点で、言語処理における特定のニューラルネットワークアーキテクチャの有効性を理論的に裏付ける。
• 形式的同等性は、形式文法と物理的粗視化の間の数学的深いつながりを確立し、言語学、情報理論、および量子物理学の概念を統合する。