[论文解读] Entanglement Entropy of Target Functions for Image Classification and Convolutional Neural Network

Yahui Zhang|arXiv (Cornell University)|Oct 16, 2017

Neural Networks and Applications被引用 6

一句话总结

本论文提出将量子多体物理中的纠缠熵——一种概念——用作表征图像分类目标函数信息复杂度的度量。通过证明这些函数满足次体积律纠缠熵约束，研究解释了为何具有多项式参数的深度卷积神经网络（CNN）能高效表示此类函数，并推导出更深的网络相比更宽的网络具有更优的缩放特性。

ABSTRACT

The success of deep convolutional neural network (CNN) in computer vision especially image classification problems requests a new information theory for function of image, instead of image itself. In this article, after establishing a deep mathematical connection between image classification problem and quantum spin model, we propose to use entanglement entropy, a generalization of classical Boltzmann-Shannon entropy, as a powerful tool to characterize the information needed for representation of general function of image. We prove that there is a sub-volume-law bound for entanglement entropy of target functions of reasonable image classification problems. Therefore target functions of image classification only occupy a small subspace of the whole Hilbert space. As a result, a neural network with polynomial number of parameters is efficient for representation of such target functions of image. The concept of entanglement entropy can also be useful to characterize the expressive power of different neural networks. For example, we show that to maintain the same expressive power, number of channels $D$ in a convolutional neural network should scale with the number of convolution layers $n_c$ as $D\sim D_0^{\frac{1}{n_c}}$. Therefore, deeper CNN with large $n_c$ is more efficient than shallow ones.

研究动机与目标

• 开发一种新的信息论框架，用于表征图像分类中的目标函数，超越图像经典熵的范畴。
• 在图像函数的希尔伯特空间与量子自旋模型之间建立数学同构，从而可应用量子信息概念。
• 通过纠缠熵约束解释深度CNN在表征图像分类函数方面的高效性。
• 利用纠缠熵类比，推导出网络深度、宽度（通道数）与表征能力之间的缩放关系。

提出的方法

• 将图像函数的希尔伯特空间形式化为以像素为索引的张量积空间，从而定义纠缠熵。
• 在图像函数与量子自旋波函数之间建立一一对应关系，使量子纠缠概念得以应用。
• 证明在合理图像分类问题中，目标函数满足次体积律纠缠熵约束，表明其占据全希尔伯特空间的较小子空间。
• 将深度CNN建模为多尺度纠缠退火变分法（MERA）的类比，其中卷积层作为解纠缠器，池化层作为粗粒化步骤。
• 推导出通道数 $ D $、深度 $ n_c $ 与纠缠熵之间的缩放关系 $ D \sim D_0^{1/n_c} $，以维持表征能力。
• 利用MERA类比表明，CNN的纠缠熵缩放为 $ S_{AB}/L_{AB} \sim n_c \log D $，将网络架构与信息论容量联系起来。

实验结果

研究问题

• RQ1 纠缠熵能否作为图像分类中目标函数信息复杂度的有意义度量？
• RQ2 为何具有多项式参数的深度CNN在全函数空间呈指数增长的情况下，仍优于全连接网络？
• RQ3 CNN中网络深度 $ n_c $、通道数 $ D $ 与表征能力之间的缩放关系为何？
• RQ4 图像特征的局域性如何与函数空间中的纠缠熵约束相关联？
• RQ5 量子信息概念（如纠缠熵与MERA）能否为深度学习架构的设计与效率提供新见解？

主要发现

• 图像分类问题中的目标函数表现出次体积律纠缠熵，表明其占据全希尔伯特空间的较小子空间。
• 此类目标函数的纠缠熵受 $ S_{AB} \sim rL_{AB} $ 约束，其中 $ r $ 为常数，意味着可用多项式参数高效表征。
• 具有 $ n_c $ 个卷积层和 $ D $ 个通道的深度CNN，其表征能力缩放为 $ S_{AB}/L_{AB} \sim n_c \log D $，与目标函数的纠缠熵一致。
• 为维持等效表征能力，通道数必须按 $ D \sim D_0^{1/n_c} $ 缩放，表明增加深度比增加宽度更高效。
• 与MERA的类比表明，卷积层充当解纠缠器，池化层充当粗粒化步骤，解释了层次化特征学习的成功。
• 结果为深度、窄层CNN在图像分类任务中相对于宽、浅层网络的实证成功提供了理论基础。