[論文レビュー] A General Theory for Training Learning Machine

Hong Zhao|arXiv (Cornell University)|Apr 23, 2017

Neural Networks and Applications参考文献 2被引用数 3

ひとこと要約

本稿では、事前知識を一般的なものと問題依存のものに体系的に分類し、それらの統合を最大化するための設計リスク最小化原理を導入することで、学習機械の学習に関する一般的な理論的枠組みを提案する。入出力感度をニューロンレベルの調整によって制御するモンテカルロベースのアルゴリズムを確立し、関数近似、分類、および伝達推論のタスクにおいても頑健な学習が可能になる。また、転送関数、コスト関数、データ前処理の明確なガイドラインを提供する。

ABSTRACT

Though the deep learning is pushing the machine learning to a new stage, basic theories of machine learning are still limited. The principle of learning, the role of the a prior knowledge, the role of neuron bias, and the basis for choosing neural transfer function and cost function, etc., are still far from clear. In this paper, we present a general theoretical framework for machine learning. We classify the prior knowledge into common and problem-dependent parts, and consider that the aim of learning is to maximally incorporate them. The principle we suggested for maximizing the former is the design risk minimization principle, while the neural transfer function, the cost function, as well as pretreatment of samples, are endowed with the role for maximizing the latter. The role of the neuron bias is explained from a different angle. We develop a Monte Carlo algorithm to establish the input-output responses, and we control the input-output sensitivity of a learning machine by controlling that of individual neurons. Applications of function approaching and smoothing, pattern recognition and classification, are provided to illustrate how to train general learning machines based on our theory and algorithm. Our method may in addition induce new applications, such as the transductive inference.

研究の動機と目的

• 機械学習分野における基礎的理論の欠如、特に事前知識、転送関数、コスト関数、ニューロンバイアスの役割に関する課題に取り組む。
• 学習中に一般的な知識と問題依存の知識の両方を最大限に統合できる統一されたフレームワークを構築する。
• ニューロンの転送関数、コスト関数、データ前処理手法の選定に原則的なガイドラインを提供する。
• 個々のニューロンの挙動を制御することで、学習機械の入出力感度を制御する。
• 提案された理論的・アルゴリズム的枠組みにより、伝達推論のような新たな応用を可能にする。

提案手法

• 事前知識を一般的（一般）なものと問題依存（特定）のものに分類する。
• 両方の知識の利用を最大化するためのコアな学習目的として、設計リスク最小化原理を提案する。
• モンテカルロアルゴリズムを用いて学習機械の入出力応答をモデル化・制御する。
• 個々のニューロンの感度を調整することで、全体システムの感度を制御する。
• 転送関数、コスト関数、データ前処理の役割を明確にし、問題依存知識の統合を促進する。
• 従来の解釈とは異なり、ニューロンバイアスをニューロンの有効な入出力挙動を調整するメカニズムとして定式化する。

実験結果

リサーチクエスチョン

• RQ1 事前知識を体系的に分類し、学習機械に最大限に統合するにはどうすればよいか？
• RQ2 原則的な観点から、ニューロンの転送関数とコスト関数を選択する理論的根拠は何か？
• RQ3 ニューロンレベルの設計によって、学習機械の入出力感度をどのように制御できるか？
• RQ4 ニューロンバイアスは、標準的な活性化関数の範囲を越えて、学習プロセスにおいてどのような役割を果たすか？
• RQ5 提案された枠組みは、伝達推論のような新たな応用をサポートできるか？

主な発見

• 設計リスク最小化原理は、学習機械における一般的な知識と問題依存知識の両方を最大限に活用する理論的基盤を提供する。
• モンテカルロアルゴリズムにより、入出力応答の正確なモデル化が可能となり、ネットワーク全体の感度を体系的に制御できる。
• 個々のニューロンの感度を制御することで、全体システムの入出力挙動を効果的に制御でき、頑健性と一般化性能が向上する。
• 本フレームワークは、事前知識に基づいて、転送関数、コスト関数、データ前処理手順の選定に明確で原則的なガイドラインを提供する。
• 理論的枠組みは、伝達推論のような新たな応用をサポートし、従来の学習機械のパラダイムの適用範囲を拡張する。
• 関数近似、平滑化、分類における実用的応用の結果から、本フレームワークの有効性と多様性が実証された。