[论文解读] Denoising autoencoder with modulated lateral connections learns invariant representations of natural images

Antti Rasmus, Tapani Raiko+1 more|arXiv (Cornell University)|Dec 22, 2014

Generative Adversarial Networks and Image Synthesis参考文献 19被引用 14

一句话总结

本文提出一种带有调制侧向连接的去噪自编码器，通过允许编码器特征调制解码器重建过程，使高层网络能够学习到不变的、抽象的表征。该方法显著提升了去噪性能，加速了深层网络中不变性的学习，并支持无监督的多样化、选择性池化，与监督学习流程兼容。

ABSTRACT

Suitable lateral connections between encoder and decoder are shown to allow higher layers of a denoising autoencoder (dAE) to focus on invariant representations. In regular autoencoders, detailed information needs to be carried through the highest layers but lateral connections from encoder to decoder relieve this pressure. It is shown that abstract invariant features can be translated to detailed reconstructions when invariant features are allowed to modulate the strength of the lateral connection. Three dAE structures with modulated and additive lateral connections, and without lateral connections were compared in experiments using real-world images. The experiments verify that adding modulated lateral connections to the model 1) improves the accuracy of the probability model for inputs, as measured by denoising performance; 2) results in representations whose degree of invariance grows faster towards the higher layers; and 3) supports the formation of diverse invariant poolings.

研究动机与目标

• 为解决无监督自编码器保留所有输入细节，而监督学习需要对位置或光照等无关变化保持不变性之间的不匹配问题。
• 探究从编码器到解码器的侧向连接是否能使高层网络更关注抽象、不变的特征，而非细节表征。
• 评估调制侧向连接是否能提升模型在无监督条件下学习多样化、选择性且不变的池化操作的能力。

提出的方法

• 引入来自编码器高层特征到解码器的调制侧向连接，使不变特征控制重建强度。
• 采用带有二次误差函数和反向传播的去噪自编码器框架进行训练。
• 使用分层代价函数，以高效训练深层层次结构并指导表征学习。
• 采用权重共享的修正线性单元（ReLU），其中负权重有效实现类似逻辑或（OR）操作的凹激活函数。
• 采用乘法交互机制，使调制侧向连接将不变特征与重建细节相结合。
• 使用不变性度量和显著性指标分析高层神经元行为及池化多样性。

实验结果

研究问题

• RQ1 引入调制侧向连接是否提升了去噪自编码器对数据潜在分布建模的能力？
• RQ2 侧向连接的存在如何影响深层表征中不变性的程度？
• RQ3 调制侧向连接是否能在无监督条件下支持形成多样化、选择性且不变的池化操作？
• RQ4 该架构如何影响层大小与高层特征使用之间的平衡？
• RQ5 调制侧向连接在多大程度上使高层网络更关注抽象、不变的特征，而非细节信息？

主要发现

• 带有调制侧向连接的模型在去噪性能上显著更优，表明其对数据的概率模型更准确。
• 与无侧向连接的模型相比，调制侧向连接使高层表征的不变性提升得快得多。
• 调制模型的高层几乎完全聚焦于不变表征，而普通自编码器仍保留大量对细节敏感的神经元。
• 调制模型学习到了大量多样化、选择性的池化操作，每个第1层神经元参与多个定性不同的池化组。
• 不变性与负权重密切相关，后者将ReLU单元转化为类似或（OR）操作的凹函数，支持选择性池化。
• 即使增加层大小，调制模型的第二层仍保持高度不变性，证实了所学表征的鲁棒性与可扩展性。