[論文レビュー] On the Origin of Deep Learning

Haohan Wang, Bhiksha Raj|arXiv (Cornell University)|Feb 24, 2017

Neural Networks and Applications参考文献 131被引用数 88

ひとこと要約

本論文は深層学習モデルの進化史を概説し、連合主義（associationism）からCNNs、DBNs、RNNsなどの現代アーキテクチャへ至る過程を追跡し、初期のアイデアが現在の深層学習形態へどのように進化したかを検討する。

ABSTRACT

This paper is a review of the evolutionary history of deep learning models. It covers from the genesis of neural networks when associationism modeling of the brain is studied, to the models that dominate the last decade of research in deep learning like convolutional neural networks, deep belief networks, and recurrent neural networks. In addition to a review of these models, this paper primarily focuses on the precedents of the models above, examining how the initial ideas are assembled to construct the early models and how these preliminary models are developed into their current forms. Many of these evolutionary paths last more than half a century and have a diversity of directions. For example, CNN is built on prior knowledge of biological vision system; DBN is evolved from a trade-off of modeling power and computation complexity of graphical models and many nowadays models are neural counterparts of ancient linear models. This paper reviews these evolutionary paths and offers a concise thought flow of how these models are developed, and aims to provide a thorough background for deep learning. More importantly, along with the path, this paper summarizes the gist behind these milestones and proposes many directions to guide the future research of deep learning.

研究の動機と目的

• 古代のassociationismから現代のニューラルネットワークまで、深層学習の歴史的起源を辿る。
• 初期モデルが現代のアーキテクチャ（CNNs、DBNs、RNNs）にどのように組み立てられたかを分析する。
• 長く分岐する発展経路と、現在の深層学習研究を指導する重要な節目を強調する。
• 基礎的なアイデアと現在の深層学習手法を結ぶ簡潔な枠組みを提供し、今後の方向性を特定する。

提案手法

• ニューラルネットワークのマイルストーンに関する総合的な文献・歴史的レビューを実施する。
• 初期理論（associationism）から現代アーキテクチャへの進化経路をマッピングする。
• 前提となるアイデアが現在のモデル設計と最適化手法にどのように影響を与えているかを統合する。
• 関連レビューと比較して分野の歴史的発展を文脈づける。

実験結果

リサーチクエスチョン

• RQ1 現代の深層学習モデルにつながる歴史的前触れと節目は何か？
• RQ2 初期のアイデアがCNNs、DBNs、RNNsなどのアーキテクチャにどのように組み込まれたのか？
• RQ3 古代の概念と現在の深層学習実践を結ぶ直感と経路は何か？
• RQ4 その歴史に基づいて深層学習の今後の研究を導く方向性は何か？

主な発見

• 本論文はassociationismから現代の深層学習アーキテクチャへの長い歴史的系譜を辿る。
• CNNs、DBNs、RNNsが初期概念からどのように進化し、現代のモデルへ組み立てられたかを示している。
• 深層アーキテクチャは表現力と効率の問題に対処するために生まれたと主張する。
• 本研究は進化史の一部として最適化・訓練の発展（例：backpropagation、dropout）を論じる。
• 初期の節目とその根底にあるアイデアを理解することによって、今後の研究を導く指針を提供する。