[論文レビュー] A Selective Overview of Deep Learning

Jianqing Fan, Cong Ma+1 more|arXiv (Cornell University)|Apr 10, 2019

Neural Networks and Applications参考文献 125被引用数 42

ひとこと要約

本論文は統計的な観点からディープラーニングをレビューし、フィードフォワード、CNN、RNN、訓練手法、および表現力と一般化に関する理論を詳述し、深さと過パラメータ化を重視しています。

ABSTRACT

Deep learning has arguably achieved tremendous success in recent years. In simple words, deep learning uses the composition of many nonlinear functions to model the complex dependency between input features and labels. While neural networks have a long history, recent advances have greatly improved their performance in computer vision, natural language processing, etc. From the statistical and scientific perspective, it is natural to ask: What is deep learning? What are the new characteristics of deep learning, compared with classical methods? What are the theoretical foundations of deep learning? To answer these questions, we introduce common neural network models (e.g., convolutional neural nets, recurrent neural nets, generative adversarial nets) and training techniques (e.g., stochastic gradient descent, dropout, batch normalization) from a statistical point of view. Along the way, we highlight new characteristics of deep learning (including depth and over-parametrization) and explain their practical and theoretical benefits. We also sample recent results on theories of deep learning, many of which are only suggestive. While a complete understanding of deep learning remains elusive, we hope that our perspectives and discussions serve as a stimulus for new statistical research.

研究の動機と目的

• ディープラーニングが従来の手法とどう異なるか、そしてそれがもたらす新しい特性（深さ、過パラメータ化、暗黙の事前知識）を動機づける。
• 統計的観点から、一般的なニューラルネットワークモデル（CNN、RNN）と訓練手法を紹介する。
• 近似理論を通じた表現力と一般化の展望について論じる。
• ディープラーニングにおける訓練ダイナミクス、暗黙の正則化、アルゴリズム的観点を強調する。

提案手法

• 計算グラフにおけるバックプロパゲーションによる前向きニューラルネットワークの訓練を説明する。
• コアとなる構成要素（ CONV、POOL、LSTM 変種）と重み共有を含む畳み込みニューラルネットワークと再帰型ニューラルネットワークを説明する。
• 深層ネットの近似理論による表現力の分析を提示する。
• ディープラーニングにおける確率的勾配降下法、正則化、および一般化制御について論じる。

実験結果

リサーチクエスチョン

• RQ1 ディープラーニングと古典的統計手法を本質的に区別するのは何か？
• RQ2 深さと過パラメータ化は表現、訓練、および一般化にどのような影響を及ぼすか？
• RQ3 ディープネットの近似力と一般化に関する理論的基盤は何か？
• RQ4 一般的なモデル（CNN、RNN）と訓練手法は実用的な性能にどのように寄与するか？

主な発見

• ディープラーニングは、多くの非線形関数を組み合わせてデータ中の複雑な依存関係をモデル化することに依存している。
• 深さは浅いモデルが苦手とする相互作用の効率的な表現を可能にする。
• 過パラメータ化は SGD でほぼゼロの訓練誤差を生み出し、なおかつ妥当な一般化を維持できる。
• 訓練を通じた暗黙の事前学習は、明示的な特徴設計なしで有用な表現を可能にする。
• 本論文は深層ネットの近似理論の進展を概観し、一様収束解析を通じた一般化を論じている。