[論文レビュー] Discussion on Mechanical Learning and Learning Machine

Chuyu Xiong|arXiv (Cornell University)|Jan 31, 2016

Educational Technology and Assessment被引用数 5

ひとこと要約

本稿では、複雑でパrameter化されたアルゴリズムではなく、単純で固定された規則に基づく学習システムのフレームワークとして「機械的学習」を導入し、普遍的学習マシンの構築と機械的学習の形式的記述という2つの補完的で研究方向を提案する。主な貢献は、空間的パターン認識に焦点を当て、チューリング・チャーチの帰納にインspiredされた、規則に基づくシステムによる学習を研究する基盤となるフレームワークである。

ABSTRACT

Mechanical learning is a computing system that is based on a set of simple and fixed rules, and can learn from incoming data. A learning machine is a system that realizes mechanical learning. Importantly, we emphasis that it is based on a set of simple and fixed rules, contrasting to often called machine learning that is sophisticated software based on very complicated mathematical theory, and often needs human intervene for software fine tune and manual adjustments. Here, we discuss some basic facts and principles of such system, and try to lay down a framework for further study. We propose 2 directions to approach mechanical learning, just like Church-Turing pair: one is trying to realize a learning machine, another is trying to well describe the mechanical learning.

研究の動機と目的

• 複雑で人為的に調整されたアルゴリズムではなく、単純で固定された規則に基づく学習システムのための新しいパラダイムを確立すること。
• パrameter化されていない処理に重点を置くことで、機械的学習を従来の機械学習とは明確に区別すること。
• 2つの補完的な研究方向を提案する：普遍的学習マシンの構築と、機械的学習の形式的記述。
• 分析を簡素化し、基礎的理解を構築するために、一時的な学習に先立って空間的学習に焦点を当てる。
• 規則に基づくシステムにおける一般化、抽象化、事前知識の統合、パターンの複雑さといった、学習のコアな能力を探索すること。

提案手法

• Nビット入力をMビット出力にマッピングする情報処理ユニット（IPU）を定義し、内部処理を抽象化する。
• パrameter化されたモデルを避けるために、固定されたルールの集合によって制御されるプロセスとして、機械的学習を形式化する。
• 機械的計算（チューリング・チャーチ）と機械的学習の類似性を描き、学習のための拡張されたチューリング・チャーチの帰納を提案する。
• 時間的依存性を伴わない入力空間内のパターンである空間的学習に制限し、その後、時間的系列への拡張を行う。
• パrameter化されていない普遍的学習システムの基盤として、接続主義的モデルの可能性を提案する。
• 論理的、接続主義的、確率的、類推的、進化的な学習パラダイムを統合する統一的でルールベースのフレームワークを提唱する。

実験結果

リサーチクエスチョン

• RQ1 人為的に調整されたパrameterを持たない単純で固定された規則のみで、学習システムが知能的行動を示すことができるか？
• RQ2 パrameter化されたモデルに依存せずに、普遍的学習マシンをどのように構築できるか？
• RQ3 計算のチューリング・チャーチの帰納に類似した形で、機械的学習を形式的に記述するフレームワークは何か？
• RQ4 一般化と抽象化は、ルールベースの学習システムにおいて自然にどのように生じるか？
• RQ5 パターンの複雑さと、機械的学習システムの学習容量の関係は何か？

主な発見

• 機械的学習は、複雑で調整可能なアルゴリズムに依存する従来の機械学習とは異なり、固定されたルールの集合によって制御される学習プロセスとして定義される。
• 本稿では、機械的学習が、普遍的学習マシンの構築と、機械的学習の形式的記述という2つの同等なアプローチによって到達可能であると提唱する。これは、チューリング・チャーチの帰納に類似している。
• 分析を簡素化するため、空間的学習が基盤的ステップとして優先される。これは、時間的依存性がなくパターン認識の分析が容易になるためである。
• 一般化と抽象化は、機械的学習システムが達成すべき重要な能力と特定されるが、その形式的メカニズムは未だ研究課題のままである。
• 本稿では、接続主義的モデルが、パrameter化されていない普遍的学習システムへの道筋を提供する可能性があると示唆する。
• 論理的、確率的、進化的、類推的学習パラダイムを統合するルールベースのシステムへの統合は、有望な今後の方向性であると提案される。