[논문 리뷰] A Comprehensive Overview and Comparative Analysis on Deep Learning Models: CNN, RNN, LSTM, GRU

Farhad Mortezapour Shiri, Thinagaran Perumal외 2명|arXiv (Cornell University)|2023. 05. 27.

COVID-19 diagnosis using AI인용 수 112

한 줄 요약

한 설문조사 및 실증 연구로, 고전 및 현대 딥러닝 모델(CNN, RNN, LSTM, GRU, TCN, Transformer)을 텍스트 및 이미지 작업에서 IMDB, ARAS, Fruit-360 데이터셋으로 비교하고 CNN 아키텍처를 포함한다.

ABSTRACT

Deep learning (DL) has emerged as a powerful subset of machine learning (ML) and artificial intelligence (AI), outperforming traditional ML methods, especially in handling unstructured and large datasets. Its impact spans across various domains, including speech recognition, healthcare, autonomous vehicles, cybersecurity, predictive analytics, and more. However, the complexity and dynamic nature of real-world problems present challenges in designing effective deep learning models. Consequently, several deep learning models have been developed to address different problems and applications. In this article, we conduct a comprehensive survey of various deep learning models, including Convolutional Neural Network (CNN), Recurrent Neural Network (RNN), Temporal Convolutional Networks (TCN), Transformer, Kolmogorov-Arnold networks (KAN), Generative Models, Deep Reinforcement Learning (DRL), and Deep Transfer Learning. We examine the structure, applications, benefits, and limitations of each model. Furthermore, we perform an analysis using three publicly available datasets: IMDB, ARAS, and Fruit-360. We compared the performance of six renowned deep learning models: CNN, RNN, Long Short-Term Memory (LSTM), Bidirectional LSTM, Gated Recurrent Unit (GRU), and Bidirectional GRU alongside two newer models, TCN and Transformer, using the IMDB and ARAS datasets. Additionally, we evaluated the performance of eight CNN-based models, including VGG (Visual Geometry Group), Inception, ResNet (Residual Network), InceptionResNet, Xception (Extreme Inception), MobileNet, DenseNet (Dense Convolutional Network), and NASNet (Neural Architecture Search Network), for image classification tasks using the Fruit-360 dataset.

연구 동기 및 목표

• 주요 딥러닝 모델의 구조, 응용, 이점, 한계를 조사한다.
• 선정된 시퀀스 모델(CNN, RNN, LSTM, GRU, 양방향 변형) 및 최신 모델(TCN, Transformer)을 텍스트 데이터(IMDB, ARAS)에서 실증적으로 비교한다.
• Fruit-360 데이터셋에서 CNN 기반 이미지 분류 아키텍처(VGG, Inception, ResNet, InceptionResNet, Xception, MobileNet, DenseNet, NASNet)를 평가한다.

제안 방법

• CNN, RNN, LSTM, GRU, Temporal Convolutional Networks (TCN), Transformer, Kolmogorov-Arnold networks (KAN), Generative Models, Deep Reinforcement Learning (DRL), 및 Deep Transfer Learning을 포함한 심층 학습 모델에 대한 포괄적 문헌 조사를 제공한다.
• 세 개의 공개 데이터셋(IMDB, ARAS, Fruit-360)에 대해 실증 평가를 수행한다.
• 여섯 가지 잘 알려진 모델(CNN, RNN, LSTM, Bidirectional LSTM, GRU, Bidirectional GRU)을 두 가지 최신 모델(TCN, Transformer)과 함께 비교한다.
• Fruit-360 데이터셋에서 여덟 가지 CNN 기반 이미지 아키텍처(VGG, Inception, ResNet, InceptionResNet, Xception, MobileNet, DenseNet, NASNet)를 평가한다.

실험 결과

연구 질문

• RQ1 CNN, RNN, LSTM, GRU, TCN, Transformer가 텍스트 데이터셋(IMDB 및 ARAS)에서 성능 비교에서 어떻게 나타나는가?
• RQ2 Fruit-360 이미지 분류 작업에서 여덟 가지 CNN 아키텍처의 성능은?
• RQ3 조사된 도메인 전반에서 각 모델 계열의 강점과 한계는 무엇인가?
• RQ4 전통적인 RNN 기반 모델을 언제 선호하고 TCN 및 Transformer와 같은 최신 아키텍처를 언제 선택하는지에 대한 어떤 인사이트가 도출되는가?

주요 결과

• 본 논문은 텍스트와 이미지 도메인 전반에 걸친 광범위한 딥러닝 모델과 그 응용을 조사한다.
• 본 연구는 여러 시퀀스 모델(양방향 변형 포함)과 최신 아키텍처(TCN, Transformer)의 실증적 비교를 포함한다.
• Fruit-360 이미지 분류 작업에서 아키텍처 차이를 평가하기 위해 여덟 가지 CNN 기반 아키텍처가 평가된다.
• 해당 분석은 IMDB, ARAS, Fruit-360 데이터셋 전반에 걸쳐 각 모델 유형의 구조, 이점, 한계를 다룬다.