[论文解读] Analysis and Design of Convolutional Networks via Hierarchical Tensor Decompositions

Nadav Cohen, Or Sharir+4 more|arXiv (Cornell University)|May 5, 2017

Tensor decomposition and applications参考文献 22被引用 22

一句话总结

本文建立了卷积神经网络与层次张量分解之间的正式联系，证明了网络深度、宽度、池化结构和连接性等架构选择可直接影响表达效率与归纳偏置。核心贡献在于提出一个理论框架，表明通过共享中间层将空洞卷积网络相互连接，可实现表示能力的二次方增长，从而实现对独立网络无法达到的复杂函数的紧凑建模，而无需出现超线性增长。

ABSTRACT

The driving force behind convolutional networks - the most successful deep learning architecture to date, is their expressive power. Despite its wide acceptance and vast empirical evidence, formal analyses supporting this belief are scarce. The primary notions for formally reasoning about expressiveness are efficiency and inductive bias. Expressive efficiency refers to the ability of a network architecture to realize functions that require an alternative architecture to be much larger. Inductive bias refers to the prioritization of some functions over others given prior knowledge regarding a task at hand. In this paper we overview a series of works written by the authors, that through an equivalence to hierarchical tensor decompositions, analyze the expressive efficiency and inductive bias of various convolutional network architectural features (depth, width, strides and more). The results presented shed light on the demonstrated effectiveness of convolutional networks, and in addition, provide new tools for network design.

研究动机与目标

• 使用张量分解的数学工具，正式分析卷积网络的表达能力。
• 识别架构组件（深度、宽度、池化、连接性）如何塑造表达效率与归纳偏置。
• 基于对表示能力的正式分析，为卷积网络提供有原则的设计指导。
• 证明网络之间的互连可带来函数表示能力的超线性增长，从而实现对复杂任务的紧凑建模。

提出的方法

• 通过模式树表示层间连接与张量结构，建立卷积网络架构与层次张量分解之间的等价关系。
• 使用层次分解下的矩阵化秩，比较不同网络配置的表达能力。
• 引入混合张量分解以建模互连网络，其中不同网络的中间层通过共享张量交换信息。
• 证明混合分解需至少实现大小的二次方增长，才能匹配其组成部分的表示能力，从而证明表达效率。
• 将该框架应用于分析深度、宽度、池化及重叠卷积，通过其结构特性与张量秩增长的关系进行分析。
• 利用张量秩作为复杂度的代理指标，推导在不同架构选择下表示函数所需的参数数量的理论边界。

实验结果

研究问题

• RQ1 深度、宽度和池化结构等架构组件在多大程度上影响卷积网络的表达效率？
• RQ2 卷积网络之间的互连在多大程度上增强了其表示能力？
• RQ3 层次张量分解能否作为分析与设计卷积网络的正式框架？
• RQ4 张量秩增长与等效网络架构的大小需求之间存在何种关系？
• RQ5 连接方案的选择（如跳跃连接、空洞卷积）在多大程度上影响归纳偏置与函数逼近能力？

主要发现

• 将两个不同空洞卷积网络的中间层互连后，可形成一种混合网络，其能表示的函数是任一单独网络无法实现的，除非模型规模至少实现二次方增长。
• 两个独立层次分解的混合张量分解，需至少实现中间张量数量的二次方增长，才能复现混合结构的函数表示能力，从而证明了表达效率。
• 推论8.2表明，两个网络中间层之间仅需一次互连，即可在所需模型规模上产生二次方差距，使得混合网络在实际中可行，而独立网络则不可行。
• 实证评估表明，在不增加计算成本或模型容量的前提下，向网络中添加互连可提升准确率，验证了理论所预测的表达效率增益。
• 该框架为基于输入相关结构设置层宽与池化结构提供了设计指导，使架构选择与期望的归纳偏置相一致。
• 分析表明，深度与宽度通过支持更低秩的张量表示，有助于提升表达效率；而重叠卷积与特定池化结构可进一步增强表示能力。