[論文レビュー] Machine Learning by Two-Dimensional Hierarchical Tensor Networks: A Quantum Information Theoretic Perspective on Deep Architectures

Ding Liu, Shi-Ju Ran+5 more|arXiv (Cornell University)|Oct 13, 2017

Quantum many-body systems被引用数 12

ひとこと要約

本稿では、画像認識のためのMERAにインspiredされたアルゴリズムを用いて訓練される2次元階層的テンソルネットワーク（2D-HTN）を提案し、従来の1次元TNよりもスケーラビリティが向上することを示している。訓練中にユニタリティを保つことで、画像クラスが量子多体系状態として符号化され、学習タスクの内在的性質としてエンタングルメントや fidelity といった新しい量子的特徴が明らかになる。

ABSTRACT

The resemblance between the methods used in studying quantum-many body physics and in machine learning has drawn considerable attention. In particular, tensor networks (TNs) and deep learning architectures bear striking similarities to the extent that TNs can be used for machine learning. Previous results used one-dimensional TNs in image recognition, showing limited scalability and a high bond dimension. In this work, we train two-dimensional hierarchical TNs to solve image recognition problems, using a training algorithm derived from the multipartite entanglement renormalization ansatz (MERA). This approach overcomes scalability issues and implies novel mathematical connections among quantum many-body physics, quantum information theory, and machine learning. While keeping the TN unitary in the training phase, TN states can be defined, which optimally encodes each class of the images into a quantum many-body state. We study the quantum features of the TN states, including quantum entanglement and fidelity. We suggest these quantities could be novel properties that characterize the image classes, as well as the machine learning tasks. Our work could be further applied to identifying possible quantum properties of certain artificial intelligence methods.

研究の動機と目的

• 既存の1次元テンソルネットワークにおけるスケーラビリティの制限を解決すること。
• 量子多体系物理学とディープラーニングアーキテクチャの間の関係を調査すること。
• 階層的テンソルネットワークのためのMERA形式に基づいた訓練アルゴリズムを開発すること。
• 量子情報理論的性質（例：エンタングルメント、フィデリティ）が、学習済みの画像クラスを特徴付けることができるかどうかを調査すること。

提案手法

• 画像データをモデル化するために2次元階層的テンソルネットワーク（2D-HTN）アーキテクチャを採用する。
• マルチパーティクルエンタングルメント縮約アンザッツ（MERA）にインspiredされた訓練アルゴリズムを用いて、効率的な最適化を実現する。
• 訓練中にテンソルネットワークのユニタリティを維持することで、安定した状態の進化を保証する。
• 各画像クラスを量子多体系状態として最適に符号化するテンソルネットワーク状態を定義する。
• クラス状態間のエンタングルメントエントロピーおよびフィデリティといった量子的特徴を分析する。
• 量子情報理論、テンソルネットワーク、ディープラーニングの間の数学的関係を確立する。

実験結果

リサーチクエスチョン

• RQ1 2次元階層的テンソルネットワークは、1次元TNよりも画像認識のスケーラビリティと精度において優れているか？
• RQ2 テンソルネットワーク状態における量子エンタングルメントとフィデリティは、画像クラスの識別にどのように関係しているか？
• RQ3 量子情報理論的測定値（例：エンタングルメント、フィデリティ）が、機械学習タスクの内在的性質としてどの程度有効に機能するか？
• RQ4 MERAに基づく訓練フレームワークは、ユニタリティを維持しつつ、TNにおける有効な学習を可能にするように適合可能か？
• RQ5 テンソルネットワーク形式を通じて、量子多体系物理学とディープラーニングを統合することで、どのような新しい洞察が得られるか？

主な発見

• 2D-HTNアプローチは、画像認識タスクにおいて、従来の1次元テンソルネットワークよりもスケーラビリティが向上していることが示された。
• 訓練中のユニタリティの維持により、画像クラスが量子多体系状態として安定的かつ解釈可能な形で符号化される。
• テンソルネットワーク状態における量子エンタングルメントとフィデリティは、分類性能と相関する測定可能でタスク固有の性質として顕在する。
• 本手法により、量子情報理論、テンソルネットワーク、ディープラーニングアーキテクチャの間の新しい数学的関係が明らかになった。
• 本研究は、エンタングルメントのような量子的特徴が、機械学習タスクおよびデータクラスの内在的記述子として機能する可能性を示唆している。