[논문 리뷰] The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches

Md Zahangir Alom, Tarek M. Taha외 7명|arXiv (Cornell University)|2018. 03. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 76인용 수 435

한 줄 요약

딥러닝 접근, 아키텍처, 변형, 응용, 프레임워크, 벤치마크를 종합적으로 요약하며 AlexNet 이후 여러 도메인에서의 발전 추적.

ABSTRACT

Deep learning has demonstrated tremendous success in variety of application domains in the past few years. This new field of machine learning has been growing rapidly and applied in most of the application domains with some new modalities of applications, which helps to open new opportunity. There are different methods have been proposed on different category of learning approaches, which includes supervised, semi-supervised and un-supervised learning. The experimental results show state-of-the-art performance of deep learning over traditional machine learning approaches in the field of Image Processing, Computer Vision, Speech Recognition, Machine Translation, Art, Medical imaging, Medical information processing, Robotics and control, Bio-informatics, Natural Language Processing (NLP), Cyber security, and many more. This report presents a brief survey on development of DL approaches, including Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN) including Long Short Term Memory (LSTM) and Gated Recurrent Units (GRU), Auto-Encoder (AE), Deep Belief Network (DBN), Generative Adversarial Network (GAN), and Deep Reinforcement Learning (DRL). In addition, we have included recent development of proposed advanced variant DL techniques based on the mentioned DL approaches. Furthermore, DL approaches have explored and evaluated in different application domains are also included in this survey. We have also comprised recently developed frameworks, SDKs, and benchmark datasets that are used for implementing and evaluating deep learning approaches. There are some surveys have published on Deep Learning in Neural Networks [1, 38] and a survey on RL [234]. However, those papers have not discussed the individual advanced techniques for training large scale deep learning models and the recently developed method of generative models [1].

연구 동기 및 목표

• DNN, CNN, RNN (LSTM, GRU), Auto-Encoder, Deep Belief Network, GAN, and DRL를 포함한 딥러닝 방법의 개발 현황 조사.
• 이 기술들의 최근 발전 및 변형과 학습 방법의 요약.
• 이미지 처리, 컴퓨터 비전, NLP, 의학, 로보틱스, 사이버 보안 등 응용 분야 전반을 검토.
• 딥 러닝 접근법을 구현하고 평가하는 데 사용되는 프레임워크, SDK 및 벤치마크 데이터 세트에 대한 개요를 제공.

제안 방법

• 아키텍처와 학습 패러다임에 따라 딥러닝 방법을 검토하고 분류.
• 대규모 모델의 주목할 만한 변형과 학습 방법 요약.
• DL 접근법을 응용 도메인에 매핑하고 그 영향 평가.
• 최근 연구에서 사용되는 프레임워크, SDK, 벤치마크 데이터 세트에 대해 논의.

실험 결과

연구 질문

• RQ1 AlexNet의 등장 이후 개발된 주요 딥러닝 아키텍처와 그 변형은 무엇인가?
• RQ2 이러한 DL 접근법이 서로 다른 도메인과 작업에서 어떻게 적용되었나요?
• RQ3 DL 방법의 구현과 평가를 촉진한 프레임워크, SDK, 벤치마크는 무엇인가?
• RQ4 대규모 딥러닝 모델 및 생성적 접근 방식의 학습에서 주목할 만한 경향과 발전은 무엇인가?

주요 결과

• CNNs, RNNs, AE, DBN, GANs, DRL을 포함한 DL 방법이 전통적인 머신러닝에 비해 다수 도메인에서 최첨단 성능을 달성했다.
• 본 조사는 언급된 DL 접근법의 최근 발전 및 고급 변형을 통합한다.
• 응용은 이미지 처리, 컴퓨터 비전, 음성 인식, NLP, 의학 영상, 로봇 공학, 생물정보학, 사이버 보안 등 다양하다.
• 이 논문은 DL 접근법 구현 및 평가에 사용되는 프레임워크, SDK, 벤치마크 데이터 세트를 정리한다.