[論文レビュー] The History Began from AlexNet: A Comprehensive Survey on Deep Learning Approaches

Md Zahangir Alom, Tarek M. Taha+7 more|arXiv (Cornell University)|Mar 3, 2018

Generative Adversarial Networks and Image Synthesis参考文献 76被引用数 435

ひとこと要約

AlexNet 以降、多様なドメインに渡る深層学習アプローチ、アーキテクチャ、変種、応用、フレームワーク、ベンチマークを網羅的に要約した総合的な調査。

ABSTRACT

Deep learning has demonstrated tremendous success in variety of application domains in the past few years. This new field of machine learning has been growing rapidly and applied in most of the application domains with some new modalities of applications, which helps to open new opportunity. There are different methods have been proposed on different category of learning approaches, which includes supervised, semi-supervised and un-supervised learning. The experimental results show state-of-the-art performance of deep learning over traditional machine learning approaches in the field of Image Processing, Computer Vision, Speech Recognition, Machine Translation, Art, Medical imaging, Medical information processing, Robotics and control, Bio-informatics, Natural Language Processing (NLP), Cyber security, and many more. This report presents a brief survey on development of DL approaches, including Deep Neural Network (DNN), Convolutional Neural Network (CNN), Recurrent Neural Network (RNN) including Long Short Term Memory (LSTM) and Gated Recurrent Units (GRU), Auto-Encoder (AE), Deep Belief Network (DBN), Generative Adversarial Network (GAN), and Deep Reinforcement Learning (DRL). In addition, we have included recent development of proposed advanced variant DL techniques based on the mentioned DL approaches. Furthermore, DL approaches have explored and evaluated in different application domains are also included in this survey. We have also comprised recently developed frameworks, SDKs, and benchmark datasets that are used for implementing and evaluating deep learning approaches. There are some surveys have published on Deep Learning in Neural Networks [1, 38] and a survey on RL [234]. However, those papers have not discussed the individual advanced techniques for training large scale deep learning models and the recently developed method of generative models [1].

研究の動機と目的

• DNN、CNN、RNN（LSTM、GRU）、Auto-Encoder、Deep Belief Network、GAN、DRL を含む深層学習手法の発展を概観する。
• これらの手法とそのトレーニング方法の最近の進歩と変種を要約する。
• 画像処理、コンピュータビジョン、NLP、医療、ロボット工学、サイバーセキュリティなど、幅広い応用分野をレビューする。
• 深層学習手法を実装・評価するために用いられるフレームワーク、SDK、ベンチマークデータセットの概要を提供する。

提案手法

• アーキテクチャと学習パラダイムで深層学習手法をレビュー・分類する。
• 大規模モデルの顕著な変種とトレーニング手法を要約する。
• DL アプローチを応用分野にマッピングし、その影響を評価する。
• DL 研究で用いられる最近のフレームワーク、SDK、ベンチマークデータセットについて議論する。

実験結果

リサーチクエスチョン

• RQ1 AlexNet の出現以来開発された主要な深層学習アーキテクチャとその変種は何か？
• RQ2 これらの DL アプローチは異なる分野とタスクにどのように適用されてきたか？
• RQ3 実装と評価を促進するためのフレームワーク、SDK、ベンチマークは何か？
• RQ4 大規模深層学習モデルと生成的アプローチのトレンドと進歩にはどんなものがあるか？

主な発見

• CNNs、RNNs、AE、DBN、GANs、DRL を含む DL 手法は、従来の機械学習と比較して複数の領域で最先端性能を達成している。
• 本調査は、前述の DL アプローチの最近の発展と高度な変種を統合している。
• 応用分野は、画像処理、コンピュータビジョン、音声認識、NLP、医用画像、ロボティクス、バイオ情報学、サイバーセキュリティなど多岐にわたる。
• 本論文は、DL アプローチの実装と評価に用いられるフレームワーク、SDK、ベンチマークデータセットをまとめている。