[论文解读] Machine Learning by Two-Dimensional Hierarchical Tensor Networks: A Quantum Information Theoretic Perspective on Deep Architectures

Ding Liu, Shi-Ju Ran+5 more|arXiv (Cornell University)|Oct 13, 2017

Quantum many-body systems被引用 12

一句话总结

本文提出一种基于MERA启发算法训练的二维分层张量网络（2D-HTN），用于图像识别，相较于先前的一维张量网络，实现了更高的可扩展性。通过在训练过程中保持幺正性，该方法将图像类别编码为量子多体态，揭示了纠缠和保真度等新颖的量子特征作为学习任务的内在属性。

ABSTRACT

The resemblance between the methods used in studying quantum-many body physics and in machine learning has drawn considerable attention. In particular, tensor networks (TNs) and deep learning architectures bear striking similarities to the extent that TNs can be used for machine learning. Previous results used one-dimensional TNs in image recognition, showing limited scalability and a high bond dimension. In this work, we train two-dimensional hierarchical TNs to solve image recognition problems, using a training algorithm derived from the multipartite entanglement renormalization ansatz (MERA). This approach overcomes scalability issues and implies novel mathematical connections among quantum many-body physics, quantum information theory, and machine learning. While keeping the TN unitary in the training phase, TN states can be defined, which optimally encodes each class of the images into a quantum many-body state. We study the quantum features of the TN states, including quantum entanglement and fidelity. We suggest these quantities could be novel properties that characterize the image classes, as well as the machine learning tasks. Our work could be further applied to identifying possible quantum properties of certain artificial intelligence methods.

研究动机与目标

• 解决现有用于图像识别的一维张量网络在可扩展性方面的局限性。
• 探索量子多体物理与深度学习架构之间的联系。
• 开发一种源自MERA形式化的分层张量网络训练算法。
• 研究量子信息理论属性（如纠缠、保真度）是否可作为机器学习任务的内在属性。

提出的方法

• 采用二维分层张量网络（2D-HTN）架构来建模图像数据。
• 使用受多体纠缠重正则化 ansatz（MERA）启发的训练算法以实现高效优化。
• 在训练过程中保持张量网络的幺正性，以确保稳定的状态演化。
• 定义最优编码每个图像类别为量子多体态的张量网络态。
• 分析张量网络态中的量子特征，如纠缠熵和类别态之间的保真度。
• 建立量子信息理论、张量网络与深度学习之间的数学联系。

实验结果

研究问题

• RQ1 二维分层张量网络是否在图像识别的可扩展性和准确性方面优于一维张量网络？
• RQ2 张量网络态中的量子纠缠和保真度如何与图像类别区分相关联？
• RQ3 量子信息理论度量在多大程度上可作为机器学习任务的内在属性？
• RQ4 基于MERA的训练框架是否可被调整以在保持幺正性的同时实现在张量网络中的有效学习？
• RQ5 通过张量网络形式化统一量子多体物理与深度学习，会涌现出哪些新见解？

主要发现

• 2D-HTN方法在图像识别任务中相比先前的一维张量网络展现出更高的可扩展性。
• 训练过程中的幺正演化实现了图像类别向量子多体态的稳定且可解释的编码。
• 张量网络态中的量子纠缠和保真度作为可测量的、与任务相关的属性出现，并与分类性能相关。
• 该方法揭示了量子信息理论、张量网络与深度学习架构之间新的数学联系。
• 研究表明，如纠缠等量子特征可能作为机器学习任务和数据类别的内在描述符。