[論文レビュー] A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU

Farhad Mortezapour Shiri, Thinagaran Perumal+2 more|arXiv (Cornell University)|May 27, 2023

COVID-19 diagnosis using AI被引用数 112

ひとこと要約

クラシックと現代の深層学習モデル（CNN、RNN、LSTM、GRU、TCN、Transformer）を、IMDB、ARAS、Fruit-360 データセットを用いたテキストおよび画像タスクで比較する調査と経験的研究。CNN アーキテクチャを含む。

ABSTRACT

Deep learning (DL) has emerged as a powerful subset of machine learning (ML) and artificial intelligence (AI), outperforming traditional ML methods, especially in handling unstructured and large datasets. Its impact spans across various domains, including speech recognition, healthcare, autonomous vehicles, cybersecurity, predictive analytics, and more. However, the complexity and dynamic nature of real-world problems present challenges in designing effective deep learning models. Consequently, several deep learning models have been developed to address different problems and applications. In this article, we conduct a comprehensive survey of various deep learning models, including Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Temporal Convolutional Networks (TCN), Transformer, Kolmogorov-Arnold networks (KAN), Generative Models, Deep Reinforcement Learning (DRL), and Deep Transfer Learning. We examine the structure, applications, benefits, and limitations of each model. Furthermore, we perform an analysis using three publicly available datasets: IMDB, ARAS, and Fruit-360. We compared the performance of six renowned deep learning models: CNN, RNN, Long Short-Term Memory (LSTM), Bidirectional LSTM, Gated Recurrent Unit (GRU), and Bidirectional GRU alongside two newer models, TCN and Transformer, using the IMDB and ARAS datasets. Additionally, we evaluated the performance of eight CNN-based models, including VGG (Visual Geometry Group), Inception, ResNet (Residual Network), InceptionResNet, Xception (Extreme Inception), MobileNet, DenseNet (Dense Convolutional Network), and NASNet (Neural Architecture Search Network), for image classification tasks using the Fruit-360 dataset.

研究の動機と目的

• 主要な深層学習モデルの構造、応用、利点、制限を調べる。
• 選択された系列モデル（CNN、RNN、LSTM、GRU、Bidirectional variants）と新しいモデル（TCN、Transformer）を用いてテキストデータ（IMDB、ARAS）で経験的比較を行う。
• Fruit-360 データセットに対する CNN ベースの画像分類アーキテクチャ（VGG、Inception、ResNet、InceptionResNet、Xception、MobileNet、DenseNet、NASNet）を評価する。

提案手法

• CNN、RNN、LSTM、GRU、Temporal Convolutional Networks (TCN)、Transformer、Kolmogorov-Arnold networks (KAN)、Generative Models、Deep Reinforcement Learning (DRL)、Deep Transfer Learning を含む深層学習モデルの総合的な文献調査を提供する。
• 三つの公開データセット（IMDB、ARAS、Fruit-360）で経験的評価を行う。
• 六つのよく知られたモデル（CNN、RNN、LSTM、Bidirectional LSTM、GRU、Bidirectional GRU）と二つの新しいモデル（TCN、Transformer）を比較する。
• eight CNN-based image architectures（VGG、Inception、ResNet、InceptionResNet、Xception、MobileNet、DenseNet、NASNet）を Fruit-360 データセット上で評価する。

実験結果

リサーチクエスチョン

• RQ1 CNN、RNN、LSTM、GRU、TCN、Transformer のテキストデータセット（IMDB、ARAS）での性能はどのように比較されるか？
• RQ2 Fruit-360 の画像分類タスクで eight CNN-based アーキテクチャはどのように性能を示すか？
• RQ3 調査対象の各モデルクラスの強みと制限はどれか？
• RQ4 従来の RNN ベースのモデルと新しいアーキテクチャである TCN および Transformer を選択する際の洞察は何か？

主な発見

• 論文は幅広い深層学習モデルとそれらのテキストおよび画像領域での応用を調査する。
• 本研究は複数の系列モデル（Bidirectional variants を含む）と新しいアーキテクチャ（TCN、Transformer）の経験的比較を含む。
• eight CNN-based architectures を Fruit-360 の画像分類タスクで評価して、アーキテクチャの違いを評価する。
• 分析は IMDB、ARAS、Fruit-360 のデータセット全体にわたる各モデルタイプの構造、利点、制限を扱う。