[论文解读] Deconstructing the Ladder Network Architecture

Mohammad Pezeshki, Linxi Fan+3 more|arXiv (Cornell University)|Nov 19, 2015

Domain Adaptation and Few-Shot Learning参考文献 23被引用 66

一句话总结

本文通过系统的消融研究对Ladder Network架构进行解构，揭示了横向跳跃连接和逐层噪声注入是半监督学习性能的关键组件。作者引入了一种使用增强多层感知机（AMLP）的改进组合函数，在排列不变MNIST数据集上实现了最先进的错误率：监督学习为0.57%，半监督学习（使用1000个标注样本）为0.97%。

ABSTRACT

The Manual labeling of data is and will remain a costly endeavor. For this reason, semi-supervised learning remains a topic of practical importance. The recently proposed Ladder Network is one such approach that has proven to be very successful. In addition to the supervised objective, the Ladder Network also adds an unsupervised objective corresponding to the reconstruction costs of a stack of denoising autoencoders. Although the empirical results are impressive, the Ladder Network has many components intertwined, whose contributions are not obvious in such a complex architecture. In order to help elucidate and disentangle the different ingredients in the Ladder Network recipe, this paper presents an extensive experimental investigation of variants of the Ladder Network in which we replace or remove individual components to gain more insight into their relative importance. We find that all of the components are necessary for achieving optimal performance, but they do not contribute equally. For semi-supervised tasks, we conclude that the most important contribution is made by the lateral connection, followed by the application of noise, and finally the choice of what we refer to as the `combinator function' in the decoder path. We also find that as the number of labeled training examples increases, the lateral connections and reconstruction criterion become less important, with most of the improvement in generalization being due to the injection of noise in each layer. Furthermore, we present a new type of combinator function that outperforms the original design in both fully- and semi-supervised tasks, reducing record test error rates on Permutation-Invariant MNIST to 0.57% for the supervised setting, and to 0.97% and 1.0% for semi-supervised settings with 1000 and 100 labeled examples respectively.

研究动机与目标

• 识别Ladder Network架构中各个组件对其实现强大半监督学习性能的相对贡献。
• 研究架构选择（如横向连接、噪声注入和组合函数）对泛化能力和错误率的影响。
• 确定在标注样本数量增加时，哪些组件在从半监督向全监督学习过渡过程中依然至关重要。
• 提出并评估一种新型组合函数，以提升基准半监督学习任务上的性能。
• 为Ladder Network成功背后的设计原则提供实证洞察，助力未来深度半监督模型的开发。

提出的方法

• 作者通过系统性地移除或替换关键组件（包括横向连接、噪声注入和组合函数），同时保持超参数和数据划分一致，对Ladder Network进行修改。
• 他们在多种设置下进行受控的消融研究，包括在排列不变MNIST上的全监督和半监督学习。
• 组合函数通过一种增强多层感知机（AMLP）重新定义，该AMLP在噪声表示与重建表示之间引入乘法交互。
• 在前向传播过程中，向每个隐藏层注入噪声，网络通过加权组合监督交叉熵损失与无监督重建损失，学习从噪声表示中重建干净表示。
• 该架构对噪声和干净表示使用共享的编码器参数，通过横向跳跃连接实现从高层到低层的特征优化。
• 目标函数结合顶层输出的监督交叉熵损失与各层的无监督重建损失，通过超参数λₗ实现自适应加权。

实验结果

研究问题

• RQ1 在Ladder Network架构中，横向连接、噪声注入或组合函数中，哪一个对半监督学习性能提升贡献最大？
• RQ2 随着标注样本数量的增加，各架构组件的重要性如何变化？
• RQ3 改进的组合函数是否能超越原始Ladder Network设计，进一步提升泛化性能？
• RQ4 在监督和半监督设置下，重建损失与噪声注入对泛化的相对贡献分别是什么？
• RQ5 在概率解释层面，Ladder Network在多大程度上可被视为正则化自编码器，或与变分自编码器相关联？

主要发现

• 横向连接是半监督学习中最关键的组件，其移除在所有设置下均导致性能显著下降。
• 在每一层（尤其是第一隐藏层）注入噪声提供了强正则化效果，是性能提升的第二大关键因素。
• 组合函数的选择具有可测量但不那么显著的影响；AMLP变体优于原始组合函数，并实现了最先进性能。
• 当使用60,000个标注样本时，横向连接和重建损失的性能增益减弱，而噪声注入仍是泛化能力的主要贡献者。
• AMLP组合函数将全监督排列不变MNIST任务的测试错误率降低至0.57%，在半监督设置下（分别使用1,000和100个标注样本）错误率降至0.97%和1.0%。
• 无约束σ(u)的高斯组合函数优于门控版本，表明通过学习缩放进行不确定性估计可提升性能。