[论文解读] A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas

Haohan Wang, Bhiksha Raj|arXiv (Cornell University)|Oct 16, 2015

Neural Networks and Applications参考文献 35被引用 26

一句话总结

本综述追溯了深度学习模型从早期联结主义理论和人工神经网络到现代深度判别与生成架构的历史演变。它详细阐述了卷积神经网络、受限玻尔兹曼机、深度置信网络以及LSTM等循环模型的发展，同时强调了反向传播、自编码器、Dropout和对比散度等关键技术，最终识别出对抗性脆弱性和在扰动输入上泛化能力差等关键局限性。

ABSTRACT

This report will show the history of deep learning evolves. It will trace back as far as the initial belief of connectionism modelling of brain, and come back to look at its early stage realization: neural networks. With the background of neural network, we will gradually introduce how convolutional neural network, as a representative of deep discriminative models, is developed from neural networks, together with many practical techniques that can help in optimization of neural networks. On the other hand, we will also trace back to see the evolution history of deep generative models, to see how researchers balance the representation power and computation complexity to reach Restricted Boltzmann Machine and eventually reach Deep Belief Nets. Further, we will also look into the development history of modelling time series data with neural networks. We start with Time Delay Neural Networks and move further to currently famous model named Recurrent Neural Network and its extension Long Short Term Memory. We will also briefly look into how to construct deep recurrent neural networks. Finally, we will conclude this report with some interesting open-ended questions of deep neural networks.

研究动机与目标

• 提供一个全面但简洁的深度学习模型发展历程的历史概述，涵盖从基础思想到当前架构的演变。
• 通过关键里程碑，追溯判别模型（如CNN和自编码器）与生成模型（如RBM和DBN）的演进路径。
• 研究时间延迟神经网络、循环神经网络（RNN）和长短期记忆（LSTM）网络在时间序列和序列数据建模中的发展。
• 识别并分析深度学习的关键局限性，例如对抗性脆弱性和对微小扰动的泛化能力差。
• 通过突出深度神经网络设计与鲁棒性方面尚未解决的开放性挑战，激发未来研究。

提出的方法

• 追溯深度学习的谱系，从联结主义哲学和早期神经网络模型（包括感知机和反向传播）出发。
• 解释堆叠自编码器和预训练在通过逐层初始化实现更深架构中的作用。
• 详细描述卷积神经网络的架构与优化技术，包括卷积层和子采样层。
• 描述从霍普菲尔德网络和玻尔兹曼机到受限玻尔兹曼机（RBM）和深度置信网络（DBN）的生成模型发展历程。
• 引入时间延迟神经网络、循环神经网络（RNN）和长短期记忆（LSTM）网络等循环模型，用于序列数据处理。
• 应用对比散度实现RBM的高效训练，并通过微调将生成模型适配于判别任务。

实验结果

研究问题

• RQ1 早期联结主义理论和人工神经网络如何为现代深度学习奠定基础？
• RQ2 哪些关键的架构与优化创新推动了CNN和自编码器等深度判别模型的兴起？
• RQ3 生成模型如何从霍普菲尔德网络演进到RBM和深度置信网络？在表示能力与计算复杂性之间存在何种权衡？
• RQ4 RNN和LSTM通过何种机制有效建模序列数据？这些模型的深层变体如何构建？
• RQ5 哪些根本性局限性（如对抗性脆弱性和对微小扰动的泛化能力差）挑战了深度神经网络的鲁棒性与可靠性？

主要发现

• 深度学习模型从基于感知机的早期网络，经由反向传播、自编码器和卷积架构等创新，发展为在各类任务中达到最先进性能的模型。
• 堆叠自编码器和预训练通过逐层初始化权重，使更深网络成为可能，从而改善了优化与泛化能力。
• 卷积神经网络通过利用局部连接与权重重用，在视觉任务中实现高性能，而Dropout和Maxout等技术进一步增强了其鲁棒性。
• 受限玻尔兹曼机与深度置信网络为无监督预训练提供了强大框架，实现了高效的深度生成建模。
• LSTM网络通过门控记忆单元克服了RNN中的梯度消失问题，实现了对序列数据中长期依赖关系的有效学习。
• 尽管性能强大，深度神经网络仍存在关键缺陷：它们可能对人眼无法察觉的像素扰动产生误分类，甚至以超过99.6%的置信度将随机噪声识别为熟悉物体。