[论文解读] Expressive power of recurrent neural networks

Valentin Khrulkov, Alexander Novikov+1 more|arXiv (Cornell University)|Nov 2, 2017

Tensor decomposition and applications参考文献 19被引用 9

一句话总结

该论文通过将循环神经网络（RNNs）与张量列车（TT）分解联系起来，建立了其表达能力的理论基础，证明了浅层网络需呈指数级增长的宽度才能匹配TT-RNN的表征能力。核心贡献在于建立了等价浅层网络宽度的指数下界，表明RNN在建模图像块等序列化和结构化数据方面具有根本性的效率优势。

ABSTRACT

Deep neural networks are surprisingly efficient at solving practical tasks, but the theory behind this phenomenon is only starting to catch up with the practice. Numerous works show that depth is the key to this efficiency. A certain class of deep convolutional networks -- namely those that correspond to the Hierarchical Tucker (HT) tensor decomposition -- has been proven to have exponentially higher expressive power than shallow networks. I.e. a shallow network of exponential width is required to realize the same score function as computed by the deep architecture. In this paper, we prove the expressive power theorem (an exponential lower bound on the width of the equivalent shallow network) for a class of recurrent neural networks -- ones that correspond to the Tensor Train (TT) decomposition. This means that even processing an image patch by patch with an RNN can be exponentially more efficient than a (shallow) convolutional network with one hidden layer. Using theoretical results on the relation between the tensor decompositions we compare expressive powers of the HT- and TT-Networks. We also implement the recurrent TT-Networks and provide numerical evidence of their expressivity.

研究动机与目标

• 通过将RNNs与张量列车（TT）分解联系起来，建立RNNs表达能力的理论基础。
• 证明任何浅层网络要精确模拟TT-RNN，其宽度需呈指数级增长，从而确立表达能力定理。
• 基于张量分解理论，比较TT-RNN、HT卷积网络与CP浅层网络的表达能力。
• 通过在合成数据集和真实世界数据集上的数值实验，对TT-RNN进行实证验证。

提出的方法

• 通过将序列输入处理建模为低秩张量链，形式化RNNs与TT分解之间的联系。
• 将得分函数定义为特征张量Φ(X)与可训练权重张量W_y之间的内积，其中Φ(X)通过应用于输入块的特征映射的乘积构建。
• 利用TT秩作为复杂度度量，证明任何能精确模拟TT-RNN的浅层网络的宽度均存在指数下界。
• 通过共享的、低秩的双线性映射实现TT-RNN，并在玩具数据集和真实数据集（MNIST、CIFAR-10）上进行训练，采用固定块大小和ReLU激活函数。
• 采用秩结构化的参数化方法，在保持表征能力的同时降低模型复杂度。
• 通过训练准确率评估性能，并在相同设置下将TT-RNN与CP分解的浅层网络进行比较。

实验结果

研究问题

• RQ1 RNNs能否被形式化地与张量列车分解联系起来？其对应的架构解释是什么？
• RQ2 通过TT分解建模的RNNs具有怎样的理论表达能力？其与浅层网络相比如何？
• RQ3 TT-RNNs的表达能力与分层Tucker（HT）卷积网络及典型多维（CP）浅层网络相比如何？
• RQ4 数值实验在多大程度上在实践中验证了TT-RNN的理论优势？

主要发现

• 论文证明了任何需精确模拟TT-RNN的浅层网络的宽度均存在指数下界，确立了其卓越的表达能力。
• 在MNIST数据集上，TT-RNN在TT秩低于5且无正则化的情况下达到98%的测试准确率，表明其在简单任务上具有强大的表征能力。
• 在CIFAR-10数据集上，TT-RNN在无正则化条件下达到45%的训练准确率，显著优于CP网络（20%准确率），展现出多项式但实质性的表达能力提升。
• 在所有实验中，TT网络与CP网络之间的性能差距保持一致，TT-RNN在高秩下表现出更稳定的训练过程。
• 优化问题有时导致CP网络在增加秩时性能下降，凸显了TT结构化参数化的稳定性优势。
• 理论框架确认，尽管受优化约束导致实际增益为多项式级别，TT-RNN在表达能力上仍远超浅层网络，具有指数级优势。