[论文解读] A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU

Farhad Mortezapour Shiri, Thinagaran Perumal+2 more|arXiv (Cornell University)|May 27, 2023

COVID-19 diagnosis using AI被引用 112

一句话总结

对经典与现代深度学习模型（CNN、RNN、LSTM、GRU、TCN、Transformer）在文本和图像任务上，使用 IMDB、ARAS 和 Fruit-360 数据集的比较，以及 CNN 架构的实证研究。

ABSTRACT

Deep learning (DL) has emerged as a powerful subset of machine learning (ML) and artificial intelligence (AI), outperforming traditional ML methods, especially in handling unstructured and large datasets. Its impact spans across various domains, including speech recognition, healthcare, autonomous vehicles, cybersecurity, predictive analytics, and more. However, the complexity and dynamic nature of real-world problems present challenges in designing effective deep learning models. Consequently, several deep learning models have been developed to address different problems and applications. In this article, we conduct a comprehensive survey of various deep learning models, including Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Temporal Convolutional Networks (TCN), Transformer, Kolmogorov-Arnold networks (KAN), Generative Models, Deep Reinforcement Learning (DRL), and Deep Transfer Learning. We examine the structure, applications, benefits, and limitations of each model. Furthermore, we perform an analysis using three publicly available datasets: IMDB, ARAS, and Fruit-360. We compared the performance of six renowned deep learning models: CNN, RNN, Long Short-Term Memory (LSTM), Bidirectional LSTM, Gated Recurrent Unit (GRU), and Bidirectional GRU alongside two newer models, TCN and Transformer, using the IMDB and ARAS datasets. Additionally, we evaluated the performance of eight CNN-based models, including VGG (Visual Geometry Group), Inception, ResNet (Residual Network), InceptionResNet, Xception (Extreme Inception), MobileNet, DenseNet (Dense Convolutional Network), and NASNet (Neural Architecture Search Network), for image classification tasks using the Fruit-360 dataset.

研究动机与目标

• 调查主要深度学习模型的结构、应用、优点和局限性。
• 在文本数据（IMDB、ARAS）上对选定的序列模型（CNN、RNN、LSTM、GRU、双向变体）和更新模型（TCN、Transformer）进行经验比较。
• 在 Fruit-360 数据集上评估基于 CNN 的图像分类架构（VGG、Inception、ResNet、InceptionResNet、Xception、MobileNet、DenseNet、NASNet）。

提出的方法

• 提供关于深度学习模型的综合文献综述，包括 CNN、RNN、LSTM、GRU、Temporal Convolutional Networks (TCN)、Transformer、Kolmogorov-Arnold 网络 (KAN)、生成模型、深度强化学习（DRL）和深度迁移学习。
• 在三个公开数据集（IMDB、ARAS、Fruit-360）上进行经验评估。
• 将六种知名模型（CNN、RNN、LSTM、双向 LSTM、GRU、双向 GRU）与两种更新模型（TCN、Transformer）进行对比。
• 在 Fruit-360 数据集上评估八种基于 CNN 的图像架构（VGG、Inception、ResNet、InceptionResNet、Xception、MobileNet、DenseNet、NASNet）。

实验结果

研究问题

• RQ1 在文本数据集（IMDB 和 ARAS）上，CNN、RNN、LSTM、GRU、TCN、Transformer 的性能比较如何？
• RQ2 在 Fruit-360 图像分类任务中，八种 CNN 架构的表现如何？
• RQ3 在所调查的领域中，每个模型类别的优点和局限性是什么？
• RQ4 关于何时偏好传统的基于 RNN 的模型与如 TCN 和 Transformer 等更新架构的洞见有哪些？

主要发现

• 本文对广泛的深度学习模型及其在文本与图像领域的应用进行了综述。
• 研究包括对多种序列模型（包括双向变体）与更新架构（TCN、Transformer）的经验比较。
• 在 Fruit-360 图像分类任务中评估了八种基于 CNN 的架构，以评估结构差异。
• 分析涵盖在数据集 IMDB、ARAS 和 Fruit-360 上的每种模型类型的结构、优点和局限性。