[論文レビュー] Infinitely Wide Tensor Networks as Gaussian Process

Erdong Guo, David Draper|arXiv (Cornell University)|Jan 7, 2021

Gaussian Processes and Bayesian Inference参考文献 32被引用数 4

ひとこと要約

本稿では、無限に広いテンソルネットワーク—特に純粋な行列積状態（MPS）および2つのハイブリッドアーキテクチャ（ニューラルカーネルMPSおよび隠れニューラル層を備えたMPS）—が、無限幅極限においてガウス過程（GP）に収束することを確立している。著者らは、誘導されたGPの平均関数および共分散関数を導出し、ハイパーパrameter（例えば事前分布の標準偏差）がGPの特徴的な長さスケールを制御することを示している。数値実験により、事前分散の増加がより複雑なサンプルパスをもたらすことが確認された。

ABSTRACT

Gaussian Process is a non-parametric prior which can be understood as a distribution on the function space intuitively. It is known that by introducing appropriate prior to the weights of the neural networks, Gaussian Process can be obtained by taking the infinite-width limit of the Bayesian neural networks from a Bayesian perspective. In this paper, we explore the infinitely wide Tensor Networks and show the equivalence of the infinitely wide Tensor Networks and the Gaussian Process. We study the pure Tensor Network and another two extended Tensor Network structures: Neural Kernel Tensor Network and Tensor Network hidden layer Neural Network and prove that each one will converge to the Gaussian Process as the width of each model goes to infinity. (We note here that Gaussian Process can also be obtained by taking the infinite limit of at least one of the bond dimensions $α_{i}$ in the product of tensor nodes, and the proofs can be done with the same ideas in the proofs of the infinite-width cases.) We calculate the mean function (mean vector) and the covariance function (covariance matrix) of the finite dimensional distribution of the induced Gaussian Process by the infinite-width tensor network with a general set-up. We study the properties of the covariance function and derive the approximation of the covariance function when the integral in the expectation operator is intractable. In the numerical experiments, we implement the Gaussian Process corresponding to the infinite limit tensor networks and plot the sample paths of these models. We study the hyperparameters and plot the sample path families in the induced Gaussian Process by varying the standard deviations of the prior distributions. As expected, the parameters in the prior distribution namely the hyper-parameters in the induced Gaussian Process controls the characteristic lengthscales of the Gaussian Process.

研究の動機と目的

• テンソルネットワークの幅が無限大に近づく際の関数的極限を調査すること。
• 無限に広いテンソルネットワークとガウス過程（GP）との間の同等性を確立すること。
• 一般設定下での誘導されたGPの平均関数および共分散関数を分析すること。
• 事前分布のハイパーパrameterが誘導されたGPの特徴的な長さスケールに与える影響を調査すること。
• 数値実験を通じて理論的発見を検証すること—事前分散を変化させた際のサンプルパス族の挙動を調査すること。

提案手法

• 純粋な行列積状態（MPS）の無限幅極限を導出し、明確に定義された平均関数および共分散関数を持つGPへの収束を示すこと。
• 2つのハイブリッドアーキテクチャ（ニューラルカーネルMPSおよび隠れニューラル層を備えたMPS）への分析を拡張し、それらが無限幅極限でGPに収束することを証明すること。
• 期待値作用素を用いて、誘導されたGPの有限次元分布の平均ベクトルおよび共分散行列を計算すること。
• 共分散関数における扱いにくい積分を、解析的近似を導出することで処理すること。
• 無限幅テンソルネットワークから誘導されたGPを数値的に実装し、可視化のためのサンプルパスを生成すること。
• 事前分布の標準偏差を体系的に変化させ、それがサンプルパスの複雑さおよび長さスケールに与える影響を調査すること。

実験結果

リサーチクエスチョン

• RQ1 純粋な行列積状態（MPS）テンソルネットワークの無限幅極限は、ガウス過程に収束するか？
• RQ2 ニューラルカーネルMPSおよび隠れニューラル層を備えたMPSといったハイブリッドテンソルネットワークアーキテクチャは、無限幅極限でどのように振る舞うか？
• RQ3 無限に広いテンソルネットワークが誘導するガウス過程の平均関数および共分散関数の明示的表現は何か？
• RQ4 事前分布の標準偏差などのハイパーパrameterは、得られるGPの特徴的な長さスケールにどのように影響するか？
• RQ5 数値実験により、事前分散を増加させると、誘導されたGPのサンプルパスがより複雑で柔軟になることが確認できるか？

主な発見

• 純粋な行列積状態（MPS）の無限幅極限はガウス過程に収束するが、非線形性が存在しないため、不確実性帯がゼロであるため自明なGPとなる。
• ニューラルカーネルMPSおよび隠れニューラル層を備えたMPSの両方とも、幅が無限大に近づくにつれてガウス過程に収束し、純粋な線形モデルを超えたGP同等性の適用範囲が拡張される。
• 一般設定下で、誘導されたGPの平均関数および共分散関数が明示的に導出され、極限過程の閉形式特徴付けが得られた。
• 期待値積分が扱いにくい場合、共分散関数は近似が可能となり、GPカーネルの実用的計算が可能になる。
• 数値実験により、事前分布の標準偏差を増加させると、より複雑でばらつきの大きいサンプルパスが得られ、GPの特徴的な長さスケールが直接制御されることを確認した。
• 無限幅テンソルネットワークモデルから生成されたサンプルパス族は、事前分散などのハイパーパrameterが関数空間の複雑さおよび滑らかさを支配することを示しており、GP特性に対する理論的制御の妥当性が検証された。