[论文解读] Discussion on Mechanical Learning and Learning Machine

Chuyu Xiong|arXiv (Cornell University)|Jan 31, 2016

Educational Technology and Assessment被引用 5

一句话总结

本文提出‘机械学习’作为基于简单、固定规则而非复杂参数化算法的学习系统框架，提出两个互补的研究方向：构建通用学习机器与形式化描述机械学习。核心贡献是为通过规则系统研究学习提供基础框架，重点关注空间模式识别，并受到邱奇-图灵论题的启发。

ABSTRACT

Mechanical learning is a computing system that is based on a set of simple and fixed rules, and can learn from incoming data. A learning machine is a system that realizes mechanical learning. Importantly, we emphasis that it is based on a set of simple and fixed rules, contrasting to often called machine learning that is sophisticated software based on very complicated mathematical theory, and often needs human intervene for software fine tune and manual adjustments. Here, we discuss some basic facts and principles of such system, and try to lay down a framework for further study. We propose 2 directions to approach mechanical learning, just like Church-Turing pair: one is trying to realize a learning machine, another is trying to well describe the mechanical learning.

研究动机与目标

• 建立一种基于简单、固定规则而非复杂人工调参算法的新学习系统范式。
• 通过强调基于规则、非参数化处理，将机械学习与传统机器学习区分开来。
• 提出两个互补的研究方向：构建通用学习机器与形式化描述机械学习。
• 最初聚焦于空间学习，以简化分析并建立基础理解，再扩展至时间学习。
• 探索规则系统中的核心学习能力，如泛化、抽象、先验知识整合及模式复杂度。

提出的方法

• 将信息处理单元（IPU）定义为从N位输入到M位输出的映射，抽象内部处理过程。
• 将机械学习形式化为由一组固定规则控制的过程，避免使用参数化模型。
• 在机械计算（邱奇-图灵）与机械学习之间建立类比，提出学习的扩展邱奇-图灵论题。
• 首先限制分析范围至空间学习——输入空间中的模式——再扩展至时间序列。
• 提出联结主义模型是实现非参数化、通用学习系统的一种有前景基础。
• 倡导在统一的基于规则框架中整合多种学习范式（逻辑、联结主义、概率、类比、进化）。

实验结果

研究问题

• RQ1 仅通过简单、固定规则而无需人工调参，学习系统能否实现智能行为？
• RQ2 如何在不依赖参数化模型的前提下构建通用学习机器？
• RQ3 何种形式化框架可类似邱奇-图灵论题对计算的描述方式，来描述机械学习？
• RQ4 在基于规则的学习系统中，泛化与抽象如何自然产生？
• RQ5 模式复杂度与机械学习系统的学习能力之间存在何种关系？

主要发现

• 机械学习被定义为由一组固定规则控制的学习过程，与依赖复杂可调算法的传统机器学习有本质区别。
• 本文提出，机械学习可通过两条等价路径实现：构建通用学习机器与形式化描述机械学习，类比于邱奇-图灵论题。
• 空间学习被优先考虑作为基础步骤，因其可简化无时间依赖的模式识别分析。
• 泛化与抽象被识别为机械学习系统必须具备的关键能力，但其形式化机制仍是开放的研究问题。
• 本文建议联结主义模型或可为非参数化、通用学习系统提供可行路径。
• 将多种学习范式——逻辑、概率、进化、类比——整合进单一基于规则的系统，被提议为未来有前景的研究方向。