[論文レビュー] Descriptions of Objectives and Processes of Mechanical Learning

Chuyu Xiong|arXiv (Cornell University)|May 31, 2017

Robotic Mechanisms and Dynamics参考文献 4被引用数 3

ひとこと要約

本稿は、目的的パターンと主観的パターンに焦点を当てた機械的学習の形式的枠組みを提案し、内部学習プロセスの代数的表現としてX-フォームを導入する。十分なデータと特定の学習能力を備えた学習マシンは、パrameter空間への埋め込みや「高次への圧縮」による抽象化といった戦略を通じて、あらゆるパターンを普遍的に学習可能であることが示され、普遍的学習の理論的基盤を提供するとともに、深層学習をこの視点から再解釈する。

ABSTRACT

In [1], we introduced mechanical learning and proposed 2 approaches to mechanical learning. Here, we follow one such approach to well describe the objects and the processes of learning. We discuss 2 kinds of patterns: objective and subjective pattern. Subjective pattern is crucial for learning machine. We prove that for any objective pattern we can find a proper subjective pattern based upon least base patterns to express the objective pattern well. X-form is algebraic expression for subjective pattern. Collection of X-forms form internal representation space, which is center of learning machine. We discuss learning by teaching and without teaching. We define data sufficiency by X-form. We then discussed some learning strategies. We show, in each strategy, with sufficient data, and with certain capabilities, learning machine indeed can learn any pattern (universal learning machine). In appendix, with knowledge of learning machine, we try to view deep learning from a different angle, i.e. its internal representation space and its learning dynamics.

研究の動機と目的

• 機械的学習の対象とプロセスを形式化し、目的的パターンと主観的パターンの区別を明確化すること。
• X-フォームとデータの十分性を用いて、機械的システムにおける普遍的学習の理論的基盤を確立すること。
• 特定の能力を備えた学習マシンが、あらゆるパターンを学習可能であり、普遍的学習者と呼べることを示すこと。
• 内部表現空間と学習ダイナミクスの観点から、深層学習を再解釈すること。
• 自己認識、拡張可能な戦略、事前知識の統合を備えた効果的な学習マシンの設計を導くこと。

提案手法

• 主観的パターンの代数的表現としてX-フォームを導入し、学習マシンの内部表現空間を構成する。
• X-フォームを用いてデータの十分性を定義：与えられたX-フォームを支持または境界づけるのに十分なデータ。
• 3つの学習戦略を提案：パrameter空間への埋め込み、内部からの高次抽象化への「圧縮」、内外からの併合的圧縮。
• 十分なデータと特定の能力を備えた学習マシンが普遍的学習者に発展することを示す。
• レベル1の学習マシンを基本とし、自己修正を通じた高次の学習への進化の可能性を提示。
• 深層学習（例：RBMスタック）を、提案された枠組みにおける埋め込み戦略の特定の例として再解釈する。

実験結果

リサーチクエスチョン

• RQ1 機械的学習システムにおいて、目的的パターンはどのように主観的パターンを通じて体系的に表現され、学習可能となるか？
• RQ2 データおよび能力のどの条件が、学習マシンがあらゆるパターンを普遍的に学習可能にするかを保証するか？
• RQ3 X-フォームで定義される内部表現空間は、学習ダイナミクスと抽象化をどのように規定するか？
• RQ4 学習による教え方戦略はどのように普遍的学習を可能にし、無教師学習にどのように寄与するか？
• RQ5 深層学習は、提案された学習戦略、特にパrameter空間への埋め込みとどのように対応するか？

主な発見

• 任意の目的的パターンに対して、最小限の基本パターンを用いたX-フォームによる対応する主観的パターンを構築可能であり、表現可能性が保証される。
• データの十分性は、X-フォームの支持と境界づけを用いて形式的に定義され、適切な訓練データの基準が提示される。
• 3つの学習戦略—埋め込み、内部からの圧縮、内外併用の圧縮—が、十分なデータと能力のもとで普遍的学習を可能にすることが示された。
• 最初の戦略、パrameter空間への埋め込みは、制限付きボルツマンマシンスタックにおける深層学習の根幹的メカニズムであると特定された。
• 教えることによる学習と、教えられることによる学習の両方が可能な学習マシンが普遍的学習者であることが証明され、これらが最小限の有効能力であると示唆された。
• 本フレームワークは数学的学習理論の理論的基盤を提供し、X-フォームが学習マシンにとって自然かつナビゲート可能な内部表現空間を形成することを示唆している。