[论文解读] Modularized Morphing of Neural Networks

Tao Wei, Changhu Wang+1 more|arXiv (Cornell University)|Jan 12, 2017

Advanced Memory and Neural Computing参考文献 11被引用 12

一句话总结

本文提出了一种模块化网络形态变换框架，通过将形态变换建模为模块有向无环图（DAG）抽象上的图变换问题，使单个卷积层能够系统性地转化为任意神经网络模块。该方法引入两种原子形态变换操作，以处理简单与复杂模块，仅以1.2倍计算成本实现相较于ResNet高达25%的相对准确率提升，通过保留知识的架构演化实现显著性能增益。

ABSTRACT

In this work we study the problem of network morphism, an effective learning scheme to morph a well-trained neural network to a new one with the network function completely preserved. Different from existing work where basic morphing types on the layer level were addressed, we target at the central problem of network morphism at a higher level, i.e., how a convolutional layer can be morphed into an arbitrary module of a neural network. To simplify the representation of a network, we abstract a module as a graph with blobs as vertices and convolutional layers as edges, based on which the morphing process is able to be formulated as a graph transformation problem. Two atomic morphing operations are introduced to compose the graphs, based on which modules are classified into two families, i.e., simple morphable modules and complex modules. We present practical morphing solutions for both of these two families, and prove that any reasonable module can be morphed from a single convolutional layer. Extensive experiments have been conducted based on the state-of-the-art ResNet on benchmark datasets, and the effectiveness of the proposed solution has been verified.

研究动机与目标

• 为解决先前网络形态变换方法仅在层级别操作所导致的深层网络形态变换空间过大问题。
• 探究并阐明单个卷积层是否以及如何可被形态变换为任意神经网络模块，为模块化形态变换建立理论与实践基础。
• 开发一种统一且可泛化的形态变换解决方案，适用于现代模块化架构（如ResNet），实现高效的架构搜索与性能提升。
• 提供一个系统性框架，将模块分类为简单与复杂两类，并为每类提供定制化的形态变换算法，确保可形态化至任意合理模块。

提出的方法

• 将神经网络模块抽象为有向无环图（DAG），其中数据张量为顶点，卷积层为边，实现网络结构的图表示。
• 引入两种原子形态变换操作——分裂与合并，作为变换模块图表示的基本构建单元。
• 将模块分为两类：简单可形态模块（可通过原子操作直接形态变换）与复杂模块（需先简化为不可约形式后方可形态变换）。
• 提出一种简化算法，将复杂模块转化为不可约形式，随后求解不可约组件的网络形态变换方程，以实现形态变换。
• 将张量与滤波器维度扩展至无穷大，以解决图抽象中的维度兼容性问题，确保收敛性与理论有效性。
• 将该形态变换方案应用于最先进的ResNet架构，通过极低的计算开销与持续训练实现性能提升。

实验结果

研究问题

• RQ1 在保持网络功能不变的前提下，单个卷积层能否被形态变换为任意神经网络模块？
• RQ2 实现模块级别而非层级别的形态变换，其基本操作是什么？
• RQ3 如何系统性地将形态变换推广至简单与复杂神经网络模块？
• RQ4 在架构灵活性与性能增益方面，形态变换能力的理论上限是什么？
• RQ5 该形态变换方案能否在现代模块化网络（如ResNet）上实际应用，以极低计算成本实现显著性能提升？

主要发现

• 形态变换后的20层网络在CIFAR-10上达到6.60%的top-1错误率，优于110层ResNet（6.61%），且计算成本仅约其1/5。
• 形态变换后的56层网络在CIFAR-10上达到5.37%错误率，优于ResNet-110（6.61%）与ResNet-164（5.46%）。
• 在CIFAR-100上，形态变换后的56层网络达到27.52%错误率，优于110层ResNet（28.46%），计算量约为其一半。
• 在ImageNet上，形态变换后的18层网络（morph18_1c1）达到31.69% top-1错误率（1-view），相比ResNet-18绝对提升0.87%，计算量仅增加1.06倍。
• 形态变换后的34层网络（morph34_1c1）达到27.90% top-1错误率（1-view），相比ResNet-34绝对提升1.18%，计算量仅增加1.08倍。
• 该形态变换方案在morph110_1c1架构上实现高达32.6%的相对性能提升（相比从头训练），证明其具有正则化优势并降低陷入不良局部极小值的风险。