[论文解读] Abstract Learning via Demodulation in a Deep Neural Network

Andrew Simpson|arXiv (Cornell University)|Feb 13, 2015

Domain Adaptation and Few-Shot Learning参考文献 9被引用 10

一句话总结

本文提出，深度神经网络（DNNs）通过类似于解调的过程学习抽象表征，使用带偏置的Sigmoid激活函数以增强该机制。主要贡献在于提供了实证证据，表明DNNs在优化解调过程，从而提升学习性能，并为人工与生物神经系统的抽象表征提供了新颖解释。

ABSTRACT

Inspired by the brain, deep neural networks (DNN) are thought to learn abstract representations through their hierarchical architecture. However, at present, how this happens is not well understood. Here, we demonstrate that DNN learn abstract representations by a process of demodulation. We introduce a biased sigmoid activation function and use it to show that DNN learn and perform better when optimized for demodulation. Our findings constitute the first unambiguous evidence that DNN perform abstract learning in practical use. Our findings may also explain abstract learning in the human brain.

研究动机与目标

• 研究深度神经网络（DNNs）形成抽象表征的机制，受大脑分层处理的启发。
• 确定解调——从复杂表征中提取有意义信号——是否在DNN学习中起核心作用。
• 评估优化DNN以实现解调是否能提升学习性能与抽象能力。
• 提供实证证据，将解调与人工网络中的抽象学习联系起来，可能也适用于人类大脑。

提出的方法

• 作者引入一种带偏置的Sigmoid激活函数，旨在在深层神经网络的隐藏层中突出解调机制。
• 网络被训练以优化解调，目标是从输入数据中提取并保留抽象的高层特征。
• 该架构采用分层堆叠的网络结构，每一层应用带偏置的Sigmoid函数，逐步优化抽象表征。
• 在标准学习任务上评估性能，将解调优化网络与标准DNNs进行对比。
• 该方法依赖于信号处理原理，将特征提取视为调制与解调的一种形式。
• 理论基础来自神经科学，特别是大脑可能使用类似机制实现抽象化的观点。

实验结果

研究问题

• RQ1 深度神经网络如何形成抽象表征，且解调是否为关键机制？
• RQ2 优化DNN以实现解调是否能提升其性能与抽象能力？
• RQ3 使用带偏置的Sigmoid激活函数是否能增强解调，从而提升抽象学习？
• RQ4 解调能否解释人类大脑中的抽象学习，正如DNN研究结果所提示的那样？

主要发现

• 所提出的解调优化DNN在学习任务上的表现优于标准网络，展现出更强的抽象能力与泛化性能。
• 使用带偏置的Sigmoid激活函数显著提升了网络提取并保留抽象特征的能力。
• 实证结果表明，经解调训练的DNN性能更优，为解调是抽象学习基础提供了有力证据。
• 该研究首次在实际场景中提供了明确证据，表明深度神经网络通过解调过程实现抽象学习。
• 结果提示了人类大脑中抽象表征的潜在机制，使人工与生物神经系统的表征机制趋于一致。