[論文レビュー] Supervised learning with generalized tensor networks

Ivan Glasser, Nicola Pancotti+1 more|arXiv (Cornell University)|Jun 15, 2018

Computational Physics and Python Applications被引用数 27

ひとこと要約

本論文では、情報のコピーと再利用を許容する一般化されたテンソルネットワークを導入し、高次元データにおける効率的な教師あり学習を可能にしている。提案されたアーキテクチャは、画像および音声分類タスクにおいて従来のテンソルネットワーク手法を上回り、ニューラルネットワークと統合可能であるほか、近い将来の量子コンピュータにも実装可能である。

ABSTRACT

Tensor networks have found a wide use in a variety of applications in physics and computer science, recently leading to both theoretical insights as well as practical algorithms in machine learning. In this work we explore the connection between tensor networks and probabilistic graphical models, and show that it motivates the definition of generalized tensor networks where information from a tensor can be copied and reused in other parts of the network. We discuss the relationship between generalized tensor network architectures used in quantum physics, such as String-Bond States and Entangled Plaquette States, and architectures commonly used in machine learning. We provide an algorithm to train these networks in a supervised learning context and show that they overcome the limitations of regular tensor networks in higher dimensions, while keeping the computation efficient. A method to combine neural networks and tensor networks as part of a common deep learning architecture is also introduced. We benchmark our algorithm for several generalized tensor network architectures on the task of classifying images and sounds, and show that they outperform previously introduced tensor network algorithms. Some of the models we consider can be realized on a quantum computer and may guide the development of near-term quantum machine learning architectures.

研究の動機と目的

• 標準的なテンソルネットワークが高次元データを処理する際の制限を克服するため、一般化されたテンソルネットワーク構造を用いて情報の再利用を可能にする。
• 量子物理学におけるテンソルネットワークと機械学習アーキテクチャの間のギャップを埋め、理論的および実践的知見を統合する。
• 計算の tractability を維持したまま、一般化されたテンソルネットワークを用いた教師あり学習のための効率的な訓練アルゴリズムを開発する。
• テンソルネットワークとディープニューラルネットワークを統合した統一されたディープラーニングフレームワークを構築する。
• 近い将来の量子コンピュータ上で一部のモデルを実装可能かどうかを検討し、量子機械学習の開発を支援する。

提案手法

• 標準的なテンソルネットワークの制約を拡張するために、情報のコピーと複数のネットワーク部品への再利用を許容する一般化されたテンソルネットワークを定義する。
• 量子物理学からのアーキテクチャ（例：ストリングバンド状態、エンタングルドプレチット状態）を機械学習用途に適応させる。
• 勾配ベースの最適化手法を用いてテンソルネットワークのパラメータを最適化する、微分可能な訓練アルゴリズムを設計する。
• フィードフォワードニューラルネットワークと一般化されたテンソルネットワークを統合した、エンドツーエンドで訓練可能なハイブリッドアーキテクチャを提案する。
• テンソルネットワークの縮約技術を活用し、低コストを維持したまま予測を効率的に計算する。
• 古典的および量子ハードウェアの両方のデプロイメントをサポートするフレームワークを実装し、近い将来の量子優位性の探索を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてテンソルネットワークを一般化し、高次元学習タスクにおける表現力の向上と情報の再利用を実現できるか？
• RQ2 一般化されたテンソルネットワークは、画像および音声の教師あり学習ベンチマークにおいて、標準的なテンソルネットワークをどの程度上回るか？
• RQ3 量子物理学におけるテンソルネットワークアーキテクチャは、実際に古典的機械学習タスクに再利用可能か？
• RQ4 テンソルネットワークを統一されたディープラーニングフレームワーク内で、ディープニューラルネットワークとどのようにシームレスに統合できるか？
• RQ5 どの一般化されたテンソルネットワークモデルが、近い将来の量子コンピュータ上で実装可能か？

主な発見

• 一般化されたテンソルネットワークは、画像および音声分類タスクにおいて、標準的なテンソルネットワークモデルを顕著に上回る。
• 提案された訓練アルゴリズムにより、一般化されたテンソルネットワークの効率的最適化が可能となり、計算複雑性も低く保たれる。
• エンタングルドプレチット状態などの特定の一般化されたテンソルネットワークアーキテクチャは、高次元入力空間でも優れた性能を示す。
• ニューラルネットワークとテンソルネットワークを統合したハイブリッドディープラーニングアーキテクチャは、単体のモデルよりも優れた一般化性能を達成する。
• 提案されたモデルの中には、近い将来の量子ハードウェアと互換性があるものがあり、量子強化機械学習への道筋を提供する。
• テンソル情報のコピーと再利用が可能になることで、計算効率を損なわずにモデルの表現力が向上する。