[論文レビュー] Expressive power of tensor-network factorizations for probabilistic modeling, with applications from hidden Markov models to quantum machine learning

Ivan Glasser, Ryan Sweke+3 more|arXiv (Cornell University)|Jul 8, 2019

Quantum many-body systems参考文献 11被引用数 24

ひとこと要約

この論文は、確率的モデリングのためのテンソルネットワーク因子分解を厳密に分析し、非負のテンソル列（HMMに等価）、ボルンマシン（実および複素）、および局所的に純化された状態（LPS）を比較している。モデル間でリソース要件に無限大の差が生じることを証明し、複素テンソルが任意に大きな表現力の優位性をもたらすことを示しており、ランダムデータおよび実データにおいてLPSがHMMやボルンマシンを上回ることを実証している。これにより、LPSは確率的モデリングおよび量子機械学習の応用において好ましい選択肢であることが示された。

ABSTRACT

Tensor-network techniques have enjoyed outstanding success in physics, and have recently attracted attention in machine learning, both as a tool for the formulation of new learning algorithms and for enhancing the mathematical understanding of existing methods. Inspired by these developments, and the natural correspondence between tensor networks and probabilistic graphical models, we provide a rigorous analysis of the expressive power of various tensor-network factorizations of discrete multivariate probability distributions. These factorizations include non-negative tensor-trains/MPS, which are in correspondence with hidden Markov models, and Born machines, which are naturally related to local quantum circuits. When used to model probability distributions, they exhibit tractable likelihoods and admit efficient learning algorithms. Interestingly, we prove that there exist probability distributions for which there are unbounded separations between the resource requirements of some of these tensor-network factorizations. Particularly surprising is the fact that using complex instead of real tensors can lead to an arbitrarily large reduction in the number of parameters of the network. Additionally, we introduce locally purified states (LPS), a new factorization inspired by techniques for the simulation of quantum systems, with provably better expressive power than all other representations considered. The ramifications of this result are explored through numerical experiments. Our findings imply that LPS should be considered over hidden Markov models, and furthermore provide guidelines for the design of local quantum circuits for probabilistic modeling.

研究の動機と目的

• 離散的多変量確率分布のためのテンソルネットワーク因子分解の表現力について、厳密に分析すること。
• 非負のテンソル列（HMM）とボルンマシン（実および複素）を比較し、局所的に純化された状態（LPS）を新たな因子分解として導入すること。
• 同じ分布をモデリングするにあたり、特定のテンソルネットワークモデルが他のモデルよりも著しく少ないパラメータ数で済む状況とその理由を特定すること。
• 確率的モデリングおよび量子機械学習におけるテンソルネットワークモデルの選定に関する理論的および実証的指針を提供すること。
• LPSが既存のモデルよりも明確に優れた表現力を有することを確立するとともに、効率的な学習アルゴリズムを維持していること。

提案手法

• 著者らは、非負のテンソル列（MPS）、ボルンマシン（BM）を用いて離散的多変量確率分布のテンソルネットワーク因子分解を分析し、量子シミュレーション技術にインspiredされた新たな因子分解として局所的に純化された状態（LPS）を導入している。
• ある確率分布に対して、モデル間で必要なネットワークランクまたはパラメータ数に無限大の要因差が生じる例が存在することを証明しており、特に複素テンソルがパラメータ数を任意に削減できることを示している。
• この手法では、一様なランダムサンプリングにより確率テンソルを構築し、正規化した後、固定ランクのテンソルネットワークを用いて、ターゲット分布と近似分布のKLダイバージェンスを最小化している。
• 実証的検証のため、合成されたランダムテンソルおよび実世界のデータセット（例：biofam, Lymphography, SPECT Heart）に対して、MPS、BM、LPSを用いて最大尤度推定を実施し、ランクやパラメータ数を変化させた。
• 負の対数尤度（1サンプルあたり）を用いて性能を比較し、HMM（Baum-Welch経由）、学習済みグラフを有するベイジアンネットワーク、正則化あり・なしのテンソルネットワークモデルを評価している。
• 理論的分析には、リソース要件における無限大の差の証明と、複素テンソルが実テンソルに対して有する表現優位性の証明が含まれており、20×20行列および8変数バイナリテンソルにおける数値実験によって裏付けられている。

実験結果

リサーチクエスチョン

• RQ1 HMM やボルンマシンといった標準モデルよりも、テンソルネットワーク因子分解が確率分布の近似を著しく改善できるか？
• RQ2 あるモデルのパラメータ数が他のモデルに比べて無限に小さくなるような確率分布は存在するか？
• RQ3 実テンソルから複素テンソルに切り替えることで、同じ分布をモデリングするにあたり、パラメータ数を任意に大きく削減できるか？
• RQ4 既存モデルを上回る表現力を有すると証明できる新たなテンソルネットワーク因子分解を構築できるか？
• RQ5 これらの理論的優位性は、実世界のデータセットにおける実用的性能にどのように反映されるか？

主な発見

• 特定の確率分布に対して、モデル間で必要なネットワークランクまたはパラメータ数に無限大の差が生じる例が存在し、どのモデルも常に優勢であるとは限らないことを示している。
• 実テンソルから複素テンソルに切り替えることで、特定の分布を表現するにあたり、必要なパラメータ数を任意に大きく削減できることを示しており、顕著な表現優位性があることが判明した。
• 局所的に純化された状態（LPS）は、非負のテンソル列（HMM）およびボルンマシンを上回る明確な表現力を有しており、確率的モデリングにおいて優れた選択肢である。
• 数値実験では、固定ランクまたは固定の実数パラメータ数のもとで、複素ボルンマシンおよびLPSが実数モデルよりも著しく高い近似精度を達成しており、特にランダムテンソルおよび実データセットで顕著に顕著である。
• biofam、Lymphography、SPECT Heartといった実世界のデータセットにおいて、LPSおよびボルンマシンモデルは、同じランクであってもHMMやMPSよりも顕著に低い負の対数尤度を達成している。
• 異なる最適化アルゴリズムが用いられても、HMMと非負のテンソル列（MPS）は類似した性能を示しており、両者の表現力が理論的に同等であることを裏付けている。