[论文解读] Applications of Deep Neural Networks with Keras

Jeff Heaton|arXiv (Cornell University)|Sep 11, 2020

Computational Physics and Python Applications被引用 8

一句话总结

本书使用 Keras 和 TensorFlow，提供了一套全面且注重实践的深度神经网络入门指南，重点介绍回归、分类、计算机视觉、自然语言处理（NLP）以及强化学习等实际应用。书中强调迁移学习、数据增强以及像 Transformer 这类现代架构，同时提供代码示例和面向研究人员与实践者的实际部署考量。

ABSTRACT

Deep learning is a group of exciting new technologies for neural networks. Through a combination of advanced training techniques and neural network architectural components, it is now possible to create neural networks that can handle tabular data, images, text, and audio as both input and output. Deep learning allows a neural network to learn hierarchies of information in a way that is like the function of the human brain. This course will introduce the student to classic neural network structures, Convolution Neural Networks (CNN), Long Short-Term Memory (LSTM), Gated Recurrent Neural Networks (GRU), General Adversarial Networks (GAN), and reinforcement learning. Application of these architectures to computer vision, time series, security, natural language processing (NLP), and data generation will be covered. High-Performance Computing (HPC) aspects will demonstrate how deep learning can be leveraged both on graphical processing units (GPUs), as well as grids. Focus is primarily upon the application of deep learning to problems, with some introduction to mathematical foundations. Readers will use the Python programming language to implement deep learning using Google TensorFlow and Keras. It is not necessary to know Python prior to this book; however, familiarity with at least one programming language is assumed.

研究动机与目标

• 为研究人员和实践者提供一种以代码为导向的深度学习实用入门，基于 Keras 和 TensorFlow。
• 展示深度神经网络在回归、分类、计算机视觉和 NLP 等任务中的实际应用。
• 指导读者完成数据预处理、模型训练和部署的最佳实践，包括迁移学习和数据增强。
• 对比 Keras/TensorFlow 与 PyTorch，并阐明选择该框架用于教育和应用型深度学习的理由。
• 为读者后续学习 Transformer、强化学习以及使用现代工具进行生产环境部署等高级主题做好准备。

提出的方法

• 使用 Keras 和 TensorFlow 作为构建和训练神经网络的主要深度学习框架。
• 采用诸如独热编码、目标编码和归一化等数据预处理技术，处理分类特征和连续特征。
• 通过迁移学习和数据增强（如图像翻转）等方法，在数据有限的情况下提升模型性能。
• 利用 Hugging Face 和 NGC 提供的预训练模型，加速 NLP 和视觉模型的训练与微调。
• 使用 Transformer（如 BERT、GPT）实现序列模型，用于机器翻译和文本分类等任务。
• 通过 TF-Agents 引入强化学习，但指出其在性能和维护方面存在局限性。

实验结果

研究问题

• RQ1 如何有效利用 Keras 和 TensorFlow 构建和训练适用于多样化机器学习任务的深度神经网络？
• RQ2 在深度学习中，针对表格数据、图像和文本数据，最有效的数据预处理和特征工程技术是什么？
• RQ3 迁移学习如何提升模型性能并降低深度学习应用中的训练成本？
• RQ4 在真实系统中部署深度学习模型时面临哪些实际挑战和权衡？
• RQ5 像 Transformer 和 GAN 这类现代架构如何提升 NLP 和计算机视觉任务中的性能？

主要发现

• 迁移学习显著减少了训练时间与计算成本，尤其是在使用 Hugging Face 或 NGC 提供的预训练模型时。
• 数据增强技术（如图像翻转）可将有效训练数据量提升四倍，并改善模型泛化能力。
• Transformers 通过建模长距离依赖关系，在机器翻译和文本分类等 NLP 任务中实现了最先进性能。
• Keras/TensorFlow 为深度学习教育和原型开发提供了稳定且易于访问的框架，尽管 PyTorch 在研究领域仍是强劲的替代选择。
• 使用 TF-Agents 实现的强化学习功能可用，但存在更新缓慢和频繁出现内部错误的问题，限制了其在生产环境中的实用性。
• 端到端部署深度学习模型需要超越 Python 笔记本，转向 Swift、Kotlin 或 JavaScript 等语言，以支持移动和 Web 应用。