[論文レビュー] A Survey: Time Travel in Deep Learning Space: An Introduction to Deep Learning Models and How Deep Learning Models Evolved from the Initial Ideas

Haohan Wang, Bhiksha Raj|arXiv (Cornell University)|Oct 16, 2015

Neural Networks and Applications参考文献 35被引用数 26

ひとこと要約

本調査は、初期の結合主義理論や人工ニューラルネットワークから、現代の深層判別モデルおよび生成モデルのアーキテクチャに至るまで、深層学習モデルの歴史的進化をたどる。畳み込みニューラルネットワーク（CNN）、制限ボルツマンマシン（RBM）、深層信念ネットワーク（DBN）、LSTM などの再帰的モデルの発展を詳細に説明するとともに、誤差逆伝播法、オートエンコーダ、ドロップアウト、対照的分散といった重要な技術を強調し、最終的に敵対的脆弱性や入力の微小な摂動に対する一般化性能の低さといった深刻な限界を特定する。

ABSTRACT

This report will show the history of deep learning evolves. It will trace back as far as the initial belief of connectionism modelling of brain, and come back to look at its early stage realization: neural networks. With the background of neural network, we will gradually introduce how convolutional neural network, as a representative of deep discriminative models, is developed from neural networks, together with many practical techniques that can help in optimization of neural networks. On the other hand, we will also trace back to see the evolution history of deep generative models, to see how researchers balance the representation power and computation complexity to reach Restricted Boltzmann Machine and eventually reach Deep Belief Nets. Further, we will also look into the development history of modelling time series data with neural networks. We start with Time Delay Neural Networks and move further to currently famous model named Recurrent Neural Network and its extension Long Short Term Memory. We will also briefly look into how to construct deep recurrent neural networks. Finally, we will conclude this report with some interesting open-ended questions of deep neural networks.

研究の動機と目的

• 基礎的なアイデアから現在のアーキテクチャに至るまで、深層学習モデルの発展を包括的かつ簡潔に歴史的に概説すること。
• 主な出来事の経過を通じて、判別モデル（例：CNN、オートエンコーダ）および生成モデル（例：RBM、DBN）の両方の進化をたどること。
• 時系列データおよび順序データ処理のための時遅延ニューラルネットワーク（TDNN）、RNN、LSTM による順序モデリングの発展を検討すること。
• 敵対的脆弱性や微小摂動に対する一般化性能の低さといった、深層学習の根本的限界を特定・分析すること。
• 深層ニューラルネットワーク設計および耐性に関する未解決の課題を浮き彫りにすることで、今後の研究を刺激すること。

提案手法

• 結合主義的哲学および初期のニューラルネットワークモデル（パーセプトロンや誤差逆伝播法を含む）から、深層学習のルーツをたどる。
• スタックドオートエンコーダと事前学習が、層ごとの初期化によってより深いアーキテクチャの実現に寄与した仕組みを説明する。
• 畳み込み層およびサブサンプリング層を含む、畳み込みニューラルネットワークのアーキテクチャと最適化技術を詳細に記述する。
• ホフスタット・ネットワークおよびボルツマンマシンから、制限ボルツマンマシン（RBM）および深層信念ネットワーク（DBN）に至る生成モデルの発展を説明する。
• 時系列データ処理のための再帰的モデル（時遅延ニューラルネットワーク、RNN、長短記憶（LSTM）ネットワーク）を紹介する。
• 効率的なRBM学習のための対照的分散を適用し、生成モデルを判別的タスクに適応させるために微調整を実施する。

実験結果

リサーチクエスチョン

• RQ1 初期の結合主義理論および人工ニューラルネットワークは、現代の深層学習の基盤をどのように築いたか？
• RQ2 CNN やオートエンコーダのような深層判別モデルの台頭を可能にした、主なアーキテクチャ的および最適化的革新は何か？
• RQ3 ホフスタット・ネットワークからRBMおよび深層信念ネットワークに至る生成モデルの進化はどのように行われたか？また、表現力と計算複雑性の間でどのような妥協がなされたか？
• RQ4 RNN やLSTM が順序データを効果的にモデル化できる仕組みは何か？また、これらのモデルの深層版はどのように構築されるか？
• RQ5 敵対的脆弱性や微小摂動に対する一般化性能の低さといった、深層ニューラルネットワークの耐性および信頼性に挑戦する根本的限界は何か？

主な発見

• 深層学習モデルは、誤差逆伝播法、オートエンコーダ、畳み込みアーキテクチャといった革新を通じて、初期のパーセプトロンベースのネットワークから発展し、さまざまなタスクで最先端の性能を達成した。
• スタックドオートエンコーダと事前学習により、層ごとの重み初期化が可能となり、最適化および一般化性能の向上が実現された。
• 畳み込みニューラルネットワークは、局所的接続性と重み共有を活用することで、視覚タスクで高い性能を発揮した。ドロップアウトやマックスアウトといった技術により、耐性が向上した。
• 制限ボルツマンマシン（RBM）および深層信念ネットワーク（DBN）は、教師なし事前学習の強力なフレームワークを提供し、効果的な深層生成モデリングを可能にした。
• LSTM ネットワークは、ゲート付き記憶ユニットにより、RNN の消失勾配問題を克服し、順序データにおける長期依存関係の学習を効果的に行った。
• 強力な性能を発揮する一方で、深層ニューラルネットワークには深刻な欠陥が存在する：微小な画素摂動が加えられた画像を誤って分類する可能性があり、また、99.6％以上の信頼度でランダムノイズを馴染みのある物体と誤認する可能性がある。