[論文レビュー] What Really is Deep Learning Doing?

Chuyu Xiong|arXiv (Cornell University)|Nov 6, 2017

Neural Networks and Applications参考文献 4被引用数 3

ひとこと要約

この論文は、深層学習が、パターンの代数的表現である階層的X-フォームを高次元パラメータ空間に埋め込むことで、機械的学習として機能すると提案している。学習機械と内部表現空間の観点から深層学習を再定式化することで、著者たちは、望ましいX-フォームがモデルのアーキテクチャに事前に組み込まれている場合にのみ成功するが、間接的な学習ダイナミクス、固定された構造、および高いデータコストによって根本的に制限されることを示している。

ABSTRACT

Deep learning has achieved a great success in many areas, from computer vision to natural language processing, to game playing, and much more. Yet, what deep learning is really doing is still an open question. There are a lot of works in this direction. For example, [5] tried to explain deep learning by group renormalization, and [6] tried to explain deep learning from the view of functional approximation. In order to address this very crucial question, here we see deep learning from perspective of mechanical learning and learning machine (see [1], [2]). From this particular angle, we can see deep learning much better and answer with confidence: What deep learning is really doing? why it works well, how it works, and how much data is necessary for learning. We also will discuss advantages and disadvantages of deep learning at the end of this work.

研究の動機と目的

• 深層学習が実際に何をしているかという根本的な問いを、機械的学習と学習機械理論の観点から再定式化すること。
• 完全な理論的基盤が欠如しているにもかかわらず、深層学習が実際の応用でうまく機能する理由を説明すること。
• X-フォームのサポートと境界を定めるために必要なデータの十分性を定義することで、深層学習におけるデータの役割を明確にすること。
• 固定されたアーキテクチャと間接的な学習ダイナミクスに起因する深層学習の内在的限界を特定すること。
• 現在の深層学習モデルよりも優れた代替手段としての汎用学習機械の構築を提唱すること。

提案手法

• 固定されたルールに従ってデータに基づいて行動を変更するシステムとして「機械的学習」を導入し、標準的なCPUとは区別する。
• X-フォームを、基本パターンから構築される代数的表現として定義し、学習機械における知識のコア表現とする。
• 内部表現空間（X-フォームの集合に相当）を用いて、これらの表現を介した動的プロセスとして学習をモデル化する。
• 3つの学習戦略を適用する：パラメータ空間へのX-フォームの埋め込み、内部/外部からのX-フォームを高次の抽象化へと圧縮する。
• 深層学習が最初の戦略（大規模なパラメータ空間へのX-フォームの埋め込み）を実装していることから、深層学習が機械的学習の一形態であることを示す。
• データ十分性の概念を適用し、特に深層モデルにおいて、特定のX-フォームを学習するための最小限のデータ要件を特定する。

実験結果

リサーチクエスチョン

• RQ1 機械的学習と学習機械の観点から見たとき、深層学習の真の性質とは何か？
• RQ2 深層学習が実務で成功するのはなぜか、そしてその成功に必要な条件は何か？
• RQ3 深層学習モデルを効果的に訓練するために、実際にどれほどのデータが必要なのか？
• RQ4 固定されたアーキテクチャとダイナミクス的制約に起因する深層学習の根本的限界は何か？
• RQ5 現在の深層学習フレームワークの欠陥を克服できる汎用学習機械を構築することは可能か？

主な発見

• 深層学習は、高次元パラメータ空間へのX-フォームの埋め込みによって、機械的学習として機能し、学習機械の特殊な形態である。
• 深層学習の成功は、初期のモデルアーキテクチャ、特にX-フォームの事前選択に強く依存する。望ましいX-フォームが可能な表現の集合に含まれていない場合、学習は成功しない。
• 大規模なパラメータ空間に依存するため、深層学習は非効率な学習ダイナミクスを示し、計算リソースの大部分が重要でない操作に浪費される。
• データ十分性は学習の必要条件である：データは、ターゲットX-フォームをサポートし、境界を定めるのに十分でなければならない。これにより「ビッグデータ」の必要性が説明される。
• 深層学習はアーキテクチャが固定されており、最適な表現を適応的に発見できないため、汎用学習機械ではない。
• 明確な内部表現空間が欠如しているため、論理的・確率的・進化的手法の統合を促進するのを妨げられ、解釈可能性と効率性が制限される。