[论文解读] Learning across scales - A multiscale method for Convolution Neural Networks

Eldad Haber, Lars Ruthotto+2 more|arXiv (Cornell University)|Mar 6, 2017

Seismic Imaging and Inversion Techniques参考文献 12被引用 25

一句话总结

该论文提出了一种多尺度深度学习框架，将卷积神经网络（CNNs）解释为由时变非线性微分方程控制的最优控制问题。通过利用这种连续形式，作者开发了两种新方法：一种是基于代数多重网格的核延拓实现跨分辨率学习，另一种是通过渐进式网络深度初始化实现深度缩放，两者均减少了图像分类基准上的训练时间并提升了泛化性能。

ABSTRACT

In this work we establish the relation between optimal control and training deep Convolution Neural Networks (CNNs). We show that the forward propagation in CNNs can be interpreted as a time-dependent nonlinear differential equation and learning as controlling the parameters of the differential equation such that the network approximates the data-label relation for given training data. Using this continuous interpretation we derive two new methods to scale CNNs with respect to two different dimensions. The first class of multiscale methods connects low-resolution and high-resolution data through prolongation and restriction of CNN parameters. We demonstrate that this enables classifying high-resolution images using CNNs trained with low-resolution images and vice versa and warm-starting the learning process. The second class of multiscale methods connects shallow and deep networks and leads to new training strategies that gradually increase the depths of the CNN while re-using parameters for initializations.

研究动机与目标

• 建立一种连续的、基于最优控制的深度CNN解释方法，以实现在图像分辨率和网络深度上的系统性缩放。
• 解决在为不同图像分辨率或深度重新训练CNN时计算成本高且泛化能力差的挑战。
• 开发可扩展的训练策略，实现在不同尺度间复用参数，减少从头开始昂贵重训练的需求。
• 在图像分类任务中展示多尺度训练在减少收敛时间与提升模型准确率方面的有效性。

提出的方法

• 将残差网络（ResNet）类架构中的前向传播解释为时间离散化的非线性常微分方程（ODE），其中各层对应时间步长。
• 将训练过程建模为对ODE参数（如卷积核权重）的最优控制问题，实现连续优化与缩放。
• 提出一种代数多重网格（AMG）方法，用于在粗细图像分辨率之间计算一致的卷积算子，避免图像插值。
• 引入从粗到细的训练策略，将低分辨率网络的权重通过延拓操作初始化高分辨率网络，实现更快收敛。
• 提出一种深度缩放方法，通过逐步训练的浅层网络初始化更深网络，参数通过延拓传递。
• 使用早停和验证指标，对比在ImageNet-10和CIFAR-10数据集上标准训练与多尺度训练协议的训练动态。

实验结果

研究问题

• RQ1 深度CNN中的前向传播能否被有意义地解释为由非线性ODE控制的连续最优控制问题？
• RQ2 如何在不插值输入数据的前提下，实现跨图像分辨率的多尺度参数传递？
• RQ3 通过使用逐步训练的浅层网络初始化深层网络，能否提升训练效率与收敛速度？
• RQ4 所提出的多尺度框架在多大程度上减少了图像分类基准上的训练时间并提升了泛化能力？
• RQ5 通过AMG实现的一致核延拓对在粗细分辨率之间迁移模型时的分类准确率有何影响？

主要发现

• 采用从粗到细训练的多尺度方法，相较于直接在高分辨率图像上训练，显著减少了达到收敛所需的训练轮次（epoch）数量。
• 尽管采用顺序训练流程，多尺度方法的总训练时间仍低于在每个分辨率上独立训练的基准方法。
• 在五组随机划分的训练-测试数据集上，多尺度方法在$224 \times 224$图像上的训练误差与验证误差均低于标准训练方法。
• 在高分辨率图像上训练的CNN能够无需插值地对低分辨率图像进行分类，反之亦然，这得益于一致的参数缩放。
• 深度缩放策略通过使用逐步训练的浅层网络权重初始化深层网络，显著加快了深层网络的收敛速度。
• 基于代数多重网格的核延拓方法确保了跨尺度的一致特征学习，其性能优于简单的插值方法。