[论文解读] Generalizing MLPs With Dropouts, Batch Normalization, and Skip Connections

Taewoon Kim|arXiv (Cornell University)|Aug 18, 2021

Neural Networks and Applications参考文献 25被引用 13

一句话总结

本文提出了一种经过独立分量（IC）层增强的广义MLP架构，用于输入白化、批量归一化、丢弃正则化以及跳跃连接。通过在每个全连接层之前使用可学习的IC层结合丢弃正则化对输入进行白化处理，该模型实现了更快的收敛速度、更好的泛化性能以及通过蒙特卡洛丢弃正则化实现的改进不确定性估计，在使用预训练初始化的年龄与性别分类基准测试中优于标准MLP。

ABSTRACT

A multilayer perceptron (MLP) is typically made of multiple fully connected layers with nonlinear activation functions. There have been several approaches to make them better (e.g. faster convergence, better convergence limit, etc.). But the researches lack structured ways to test them. We test different MLP architectures by carrying out the experiments on the age and gender datasets. We empirically show that by whitening inputs before every linear layer and adding skip connections, our proposed MLP architecture can result in better performance. Since the whitening process includes dropouts, it can also be used to approximate Bayesian inference. We have open sourced our code, and released models and docker images at https://github.com/tae898/age-gender/

研究动机与目标

• 解决现有方法在将多层感知机（MLP）推广至标准架构之外时缺乏系统性方法的问题。
• 探究通过带有丢弃正则化的IC层进行输入白化是否能提升训练稳定性、收敛速度和最终性能。
• 评估跳跃连接和预训练权重初始化对MLP泛化性能的影响。
• 探索在所提出的架构中利用蒙特卡洛丢弃正则化实现MLP的不确定性估计。

提出的方法

• 引入一种独立分量（IC）层，在每个全连接层之前利用批量归一化和丢弃正则化对输入进行白化处理。
• 在IC层中使用丢弃正则化以去相关特征，并通过因子p²降低神经元之间的互信息。
• 在每个非线性变换后引入跳跃连接，以稳定训练并改善梯度流动。
• 在每个IC层后使用ReLU激活函数，并在推理过程中采用随机权重缩放以近似贝叶斯推理。
• 使用随机初始化和预训练权重初始化，训练包含与不包含IC层、跳跃连接和丢弃正则化的模型。
• 通过执行512次前向传播并计算预测结果的熵值，估计模型的不确定性。

实验结果

研究问题

• RQ1 在每个全连接层之前引入带有丢弃正则化的IC层是否能提升MLP的收敛极限和泛化性能？
• RQ2 跳跃连接如何影响带有IC层的MLP的训练动态和最终性能？
• RQ3 所提出的结合了丢弃正则化的MLP架构是否能通过蒙特卡洛丢弃正则化实现有效的不确定性估计？
• RQ4 结合预训练权重、IC层和跳跃连接是否能在下游任务中带来更好的迁移性能？

主要发现

• 在使用预训练初始化的8分类年龄分类任务中，所提出的结合IC层和跳跃连接的MLP模型实现了最低的验证损失（0.0444）和最高的准确率（0.9918）。
• 在所有任务中，同时具备IC层和跳跃连接的模型在验证损失方面表现出最一致的性能提升，尤其是在使用预训练初始化时更为显著。
• 结合IC层和丢弃正则化的模型实现了有效的不确定性估计，其在Adience数据集中罕见类别（婴儿和儿童面部）的预测熵值最高，接近0.6931。
• 消融实验表明，若移除IC层或跳跃连接，性能将显著下降，验证损失分别上升至0.1100和0.1311（在随机初始化条件下）。
• 在使用预训练权重的8分类年龄分类任务中，同时具备IC层和跳跃连接的模型在测试集上实现了0.0455的损失和0.9913的准确率，优于所有消融变体。
• 作者观察到，带有丢弃正则化的IC层有效降低了特征相关性与互信息，从而提升了泛化能力并实现了更稳定的训练。