[論文レビュー] My First Deep Learning System of 1991 + Deep Learning Timeline 1962-2013

Jürgen Schmidhuber|arXiv (Cornell University)|Dec 19, 2013

Anomaly Detection Techniques and Applications参考文献 79被引用数 7

ひとこと要約

この論文は、1991年に開発された著者の初のディープラーニングシステムを提示する。これは、勾配消失問題を克服するため、数百層にわたる層に対して有効なクレジット割り当てを可能にする、自己教師ありの方法で事前学習された再帰的ニューラルネットワーク（RNN）のスタックである。この手法により、2009年までに国際的なパターン認識コンテストで初の勝利を挙げることができた。2011年には人間を上回る性能を達成し、2013年までに物体検出および画像セグメンテーション分野で継続的な優位性を保った。

ABSTRACT

Deep Learning has attracted significant attention in recent years. Here I present a brief overview of my first Deep Learner of 1991, and its historic context, with a timeline of Deep Learning highlights.

研究の動機と目的

• 1991年に開発された最初のディープラーニングシステムの歴史的功績を記録・確立すること。特に技術的革新性と長期的影響を強調する。
• 1991年に特定された勾配消失／爆発問題に起因する、ディープネットワークにおけるクレジット割り当ての根本的課題に取り組むこと。
• 1962年から2013年までのディープラーニングの主な出来事のタイムラインを包括的に提示し、重要なブレークスルーとその歴史的文脈を強調すること。
• 自己教師あり事前学習と階層的時系列記憶が、GPUでのバックプロパゲーションによる進展が後続した後でも、ディープラーニングにおいて持続的な関連性を持つことを示すこと。

提案手法

• 順序付きデータの階層的圧縮を可能にするために、入力を次に予測する自己教師ありの方法で事前学習された再帰的ニューラルネットワーク（RNN）のスタックを採用した。
• 低レベルのRNNからの誤差信号を高レベルのRNNへの入力として使用し、情報が層間を跨って保存・圧縮される自己組織的時間スケールを構築した。
• 低レベルのRNNを、高レベルのRNNの隠れユニットを模倣するように再学習する技術を実装し、長期記憶の形成と長時間スケールのギャップを埋めるのを可能にした。
• GPU上で効率的な画像認識を実現するため、重み共有の畳み込み層とマックスプーリングを組み合わせたマルチカラムアーキテクチャ（MCMPCNN）を採用し、バックプロパゲーションを適用した。
• 文字認識や音声認識などのシーケンス認識タスクに適応するため、スタックされた双方向LSTM RNNを、Connectionist Temporal Classification（CTC）を用いて学習した。
• GPUの高速化を活用して、データ拡張（例：パターンの歪み）を伴うバックプロパゲーションによる深層フィードフォワードネットワークの学習を実施し、自己教師あり事前学習なしで最先端の結果を達成した。

実験結果

リサーチクエスチョン

• RQ1 2000年代初頭の現代のハードウェアが広く使われる前、非線形層が数百層にわたるディープニューラルネットワークで、クレジット割り当てをどのように効果的に行ったのか？
• RQ2 2009年以前の再帰的およびフィードフォワードディープネットワークにおいて、自己教師あり事前学習が勾配消失問題をどのように克服したのか？
• RQ3 どのような具体的なアーキテクチャ的革新が、2011年までに視覚的パターン認識分野で人間を上回る性能を達成する最初のディープラーニングシステムの実現を可能にしたのか？
• RQ4 自己教師あり事前学習からGPU上でエンドツーエンドのバックプロパゲーションに移行することで、ディープラーニングシステムの性能とスケーラビリティにどのような影響があったのか？
• RQ5 2009年から2013年の間の制御された国際コンテストにおいて、ディープラーニングシステムが人間の専門家や非ニューラルメソッドをどれほど上回ったかを示す証拠は何か？

主な発見

• 1991年に開発された、自己教師あり事前学習されたRNNのスタックに基づくディープラーニングシステムは、1200ステップにわたる時間的スケールでクレジット割り当てを成功させ、再帰的アーキテクチャを用いたディープラーニングの実現可能性を示した。
• 2009年までに、LSTMを用いたディープラーニングシステムが、3か国語の接続文字認識を対象としたICDAR 2009コンテストで3つの部門で優勝し、国際コンテストで初の公式な勝利を挙げたディープラーニングシステムとなった。
• 2011年、GPU搭載のマルチカラムマックスプーリングCNN（MCMPCNN）は、交通標識認識で人間の性能の2倍、次善のニューラルネットワークの3倍の性能を達成し、人間を上回る性能を示した。
• 2012年、同じMCMPCNNアーキテクチャは、乳癌組織像におけるミトーシス検出を対象としたICPR 2012コンテストおよびニューロン構造セグメンテーションを対象としたISBI 2012チャレンジで優勝し、ディープラーニングによる物体検出および画像セグメンテーション分野での初の勝利を達成した。
• 2013年までに、深層LSTM RNNはTIMITの発音認識記録を更新し、GPU搭載のMCMPCNNはImageNetおよびPASCALオブジェクト検出で新記録を樹立し、コンピュータビジョンおよび音声認識分野で継続的な優位性を示した。
• 本論文は、「ディープラーニング」という用語が2006年頃に考案されたが、その基盤となる研究——特に自己教師あり事前学習と階層的時系列記憶——は1991年にさかのぼり、現代のディープラーニング時代よりも前に動作するディープラーナーが登場していたことを確立している。