[論文レビュー] From probabilistic graphical models to generalized tensor networks for supervised learning

Ivan Glasser, Nicola Pancotti+1 more|arXiv (Cornell University)|Jun 15, 2018

Computational Physics and Python Applications被引用数 10

ひとこと要約

本論文では、情報のコピーと再利用を可能にする一般化されたテンソルネットワークを導入し、高次元における従来のテンソルネットワークの制限を克服することで、効率的で微分可能な教師あり学習を実現する。この手法は、画像および音声分類タスクにおいて、行列積状態（MPS）などの従来のテンソルネットワークを上回る性能を発揮するが、古典的効率性を保ちつつ、量子機械学習アーキテクチャとも互換性を持つ。

ABSTRACT

Tensor networks have found a wide use in a variety of applications in physics and computer science, recently leading to both theoretical insights as well as practical algorithms in machine learning. In this work we explore the connection between tensor networks and probabilistic graphical models, and show that it motivates the definition of generalized tensor networks where information from a tensor can be copied and reused in other parts of the network. We discuss the relationship between generalized tensor network architectures used in quantum physics, such as string-bond states, and architectures commonly used in machine learning. We provide an algorithm to train these networks in a supervised-learning context and show that they overcome the limitations of regular tensor networks in higher dimensions, while keeping the computation efficient. A method to combine neural networks and tensor networks as part of a common deep learning architecture is also introduced. We benchmark our algorithm for several generalized tensor network architectures on the task of classifying images and sounds, and show that they outperform previously introduced tensor-network algorithms. The models we consider also have a natural implementation on a quantum computer and may guide the development of near-term quantum machine learning architectures.

研究の動機と目的

• 確率的グラフィカルモデルとテンソルネットワークを統合するため、情報のコピーと再利用を可能にする一般化フレームワークを導入すること。
• モンテカルロサンプルに依存せずに、効率的で微分可能な学習アルゴリズムを、一般化テンソルネットワークを用いて教師あり学習に適用すること。
• 画像および音声分類タスクにおいて、標準的なテンソルネットワーク（例：MPS）よりも優れた性能を発揮することを示すこと。特に、低い結合次元で実現すること。
• ハイブリッドアーキテクチャを通じて、テンソルネットワークとディープニューラルネットワークの統合を可能にすること。
• 入力のコピーを必要とする量子回路をモデル化することで、近位量子機械学習のための古典的ベンチマークプラットフォームを提供すること。

提案手法

• 複数の分岐にわたってテンソル要素のコピーを許容する一般化テンソルネットワークを提案し、複雑な幾何構造を維持しながらも、効率的な縮約を可能にする。
• 量子シミュレーションで用いられる高コストなモンテカルロ最適化を避けるために、エンドツーエンドの学習にための確率的勾配降下法を一般化テンソルネットワークに適応する。
• 2つのハイブリッドアーキテクチャを導入する：1つはニューラルネットワークで特徴を抽出した後、それをテンソルネットワークに供給するもの。もう1つは両者を統合した1つのディープラーニングモデルである。
• 実数値の入力データを扱うために、ネットワークの一部として関連するテンソル特徴を学習することで、画像および音声への応用を可能にする。
• 高次元のデータ構造でも効率的な縮約を保証するため、階層的順序付けを採用する。
• ストリング・ボンド状態（SBS）およびエンタングルド・プレリット状態（EPS）を、一般化テンソルネットワークの具体的な例として導入し、その表現力と効率性を示す。

実験結果

リサーチクエスチョン

• RQ1 テンソルネットワークは、情報の再利用とコピーを可能にするようにどのように拡張できるか？これにより、より表現力のあるアーキテクチャが実現できるか？
• RQ2 一般化テンソルネットワークは、画像および音声分類などの教師あり学習タスクにおいて、標準的なテンソルネットワークよりも優れた性能を発揮できるか？
• RQ3 モンテカルロサンプルに依存せずに、一般化テンソルネットワークを効率的に学習できるか？これにより、機械学習における実用的応用が可能になるか？
• RQ4 一般化テンソルネットワークと、畳み込みニューラルネットワーク（CNN）や確率的ビジュアルマシン（RBM）などの古典的機械学習モデルとの関係は何か？
• RQ5 テンソルネットワークを、統一的で微分可能なアーキテクチャとして、ディープニューラルネットワークと効果的に統合できるか？

主な発見

• 特にストリング・ボンド状態（SBS）を含む一般化テンソルネットワークは、画像および音声分類タスクにおいて、行列積状態（MPS）を上回る性能を発揮する。これは、パrameter数が少ない場合でも同様である。
• UrbanSound8Kデータセットにおいて、4本のストリングと結合次元5のSBSは、結合次元10のMPSと同等のパrameter数を持つにもかかわらず、より高い訓練精度を達成した。
• SBSモデルはMPSに比べてわずかに優れた一般化性能を示したが、訓練データが限られているため過学習が顕著であった。これは、強い表現力の証左である。
• 提案された学習アルゴリズムにより、正確な縮約と微分可能な最適化が効率的に行えるようになり、モンテカルロサンプルの計算コストを回避した。
• この手法は、ニューラルネットワークとの直接統合を可能とし、特徴抽出とテンソルベースのモデリングを統合したハイブリッドディープラーニングアーキテクチャの構築を可能にする。
• 一般化テンソルネットワークは、入力データの複数コピーを必要とする近位量子機械学習回路の自然な古典的シミュレーションプラットフォームを提供する。