[论文解读] Descriptions of Objectives and Processes of Mechanical Learning

Chuyu Xiong|arXiv (Cornell University)|May 31, 2017

Robotic Mechanisms and Dynamics参考文献 4被引用 3

一句话总结

本文提出了一套以客观模式与主观模式为核心的机械学习形式化框架，引入X形式作为内部学习过程的代数表示。研究表明，在数据充足且具备特定学习能力的前提下，学习机器可通过嵌入参数空间或通过‘向更高层次压缩’等策略普遍学习任意模式，为通用学习提供了理论基础，并从该视角重新诠释了深度学习。

ABSTRACT

In [1], we introduced mechanical learning and proposed 2 approaches to mechanical learning. Here, we follow one such approach to well describe the objects and the processes of learning. We discuss 2 kinds of patterns: objective and subjective pattern. Subjective pattern is crucial for learning machine. We prove that for any objective pattern we can find a proper subjective pattern based upon least base patterns to express the objective pattern well. X-form is algebraic expression for subjective pattern. Collection of X-forms form internal representation space, which is center of learning machine. We discuss learning by teaching and without teaching. We define data sufficiency by X-form. We then discussed some learning strategies. We show, in each strategy, with sufficient data, and with certain capabilities, learning machine indeed can learn any pattern (universal learning machine). In appendix, with knowledge of learning machine, we try to view deep learning from a different angle, i.e. its internal representation space and its learning dynamics.

研究动机与目标

• 形式化机械学习的对象与过程，区分客观模式与主观模式。
• 基于X形式与数据充分性，为机械系统中的通用学习建立理论基础。
• 证明具备特定能力的学习机器可学习任意模式，从而成为通用学习者。
• 通过内部表征空间与学习动态的视角，重新框架化深度学习。
• 指导具备自我意识、可扩展策略与先验知识整合能力的有效学习机器的设计。

提出的方法

• 引入X形式作为主观模式的代数表达，构成学习机器的内部表征空间。
• 通过X形式定义数据充分性：数据足以支持或界定给定的X形式。
• 提出三种学习策略：嵌入参数空间、从内部向更高抽象层次压缩，以及从内部与外部同时压缩。
• 证明在数据充足且具备特定能力的前提下，学习机器可成为通用学习者。
• 以一级学习机器为基础，通过自我修改具备向更高级学习演化的潜力。
• 将深度学习（如RBM堆叠）重新诠释为所提框架中嵌入策略的具体实例。

实验结果

研究问题

• RQ1 在机械学习系统中，如何通过主观模式系统性地表征与学习客观模式？
• RQ2 在何种数据与能力条件下，可确保学习机器普遍学习任意模式？
• RQ3 由X形式定义的内部表征空间如何支配学习动态与抽象过程？
• RQ4 学习-教学策略在何种意义上实现通用学习？其如何启发无监督学习？
• RQ5 深度学习与所提学习策略（特别是嵌入参数空间）之间存在何种对应关系？

主要发现

• 对于任意客观模式，均可通过最少基模式构造对应的主观模式（以X形式表达），确保表达能力。
• 数据充分性通过支持与界定X形式的形式化定义，为训练数据的充分性提供判据。
• 三种学习策略——嵌入、内部压缩与联合压缩——在数据与能力充足时，可实现通用学习。
• 第一种策略，即嵌入参数空间，被识别为受限玻尔兹曼机堆叠中深度学习的核心机制。
• 具备学习-教学能力与无需教学即可学习能力的学习机器被证明为通用学习者，表明这两项能力为最小有效能力。
• 该框架为数学学习理论提供了理论基础，并表明X形式构成了学习机器自然且可导航的内部表征空间。