[论文解读] A General Theory for Training Learning Machine

Hong Zhao|arXiv (Cornell University)|Apr 23, 2017

Neural Networks and Applications参考文献 2被引用 3

一句话总结

本文提出了一种通用的理论框架，通过系统性地将先验知识划分为通用和问题相关两部分，并引入设计风险最小化原则以最大化其整合。该框架建立了一种基于蒙特卡洛的算法，通过神经元级别的调节控制输入-输出敏感性，从而在函数逼近、分类和归纳推理任务中实现稳健训练，并为转移函数、代价函数和数据预处理提供明确指导。

ABSTRACT

Though the deep learning is pushing the machine learning to a new stage, basic theories of machine learning are still limited. The principle of learning, the role of the a prior knowledge, the role of neuron bias, and the basis for choosing neural transfer function and cost function, etc., are still far from clear. In this paper, we present a general theoretical framework for machine learning. We classify the prior knowledge into common and problem-dependent parts, and consider that the aim of learning is to maximally incorporate them. The principle we suggested for maximizing the former is the design risk minimization principle, while the neural transfer function, the cost function, as well as pretreatment of samples, are endowed with the role for maximizing the latter. The role of the neuron bias is explained from a different angle. We develop a Monte Carlo algorithm to establish the input-output responses, and we control the input-output sensitivity of a learning machine by controlling that of individual neurons. Applications of function approaching and smoothing, pattern recognition and classification, are provided to illustrate how to train general learning machines based on our theory and algorithm. Our method may in addition induce new applications, such as the transductive inference.

研究动机与目标

• 为解决机器学习中基础理论的缺乏，特别是关于先验知识、转移函数、代价函数和神经元偏置的作用。
• 开发一个统一框架，以在学习过程中最大化整合通用和问题相关先验知识。
• 为选择神经转移函数、代价函数和数据预处理技术提供原则性指导。
• 通过调节单个神经元的行为来控制学习机器的输入-输出敏感性。
• 通过所提出的理论和算法框架，支持新型应用如归纳推理。

提出的方法

• 将先验知识划分为通用（普遍）和问题相关（特定）两部分。
• 提出设计风险最小化原则作为核心学习目标，以最大化先验知识的利用。
• 使用蒙特卡洛算法对学习机器的输入-输出响应进行建模与控制。
• 通过调节单个神经元的敏感性来控制整个系统对输入-输出的敏感性。
• 赋予转移函数、代价函数和数据预处理以角色，以增强问题相关知识的整合。
• 将神经元偏置形式化为调节神经元有效输入-输出行为的机制，区别于传统解释。

实验结果

研究问题

• RQ1 如何系统性地对先验知识进行分类，并将其最大程度地整合到学习机器中？
• RQ2 选择神经转移函数和代价函数的理论基础是什么，以实现原则性选择？
• RQ3 如何通过神经元级别的设计来控制学习机器的输入-输出敏感性？
• RQ4 神经元偏置在学习过程中除了标准激活函数外还发挥什么作用？
• RQ5 所提出的框架能否支持新型应用如归纳推理？

主要发现

• 设计风险最小化原则为在学习机器中最大化利用通用和问题相关先验知识提供了理论基础。
• 蒙特卡洛算法能够准确建模输入-输出响应，从而实现对网络中敏感性的系统性控制。
• 通过控制单个神经元的敏感性，可有效调节整个系统对输入-输出的行为，提升鲁棒性和泛化能力。
• 该框架为基于先验知识选择转移函数、代价函数和数据预处理步骤提供了清晰且原则性的指导。
• 该理论支持新型应用如归纳推理，扩展了传统学习机器范式的适用范围。
• 在函数逼近、平滑处理和分类任务中的实证应用表明，该框架具有高效性和通用性。