[논문 리뷰] Discussion on Mechanical Learning and Learning Machine

Chuyu Xiong|arXiv (Cornell University)|2016. 01. 31.

Educational Technology and Assessment인용 수 5

한 줄 요약

이 논문은 복잡한 파rameterized 알고리즘 대신 단순하고 고정된 규칙에 기반한 학습 시스템을 위한 프레임워크로 '기계적 학습(mechanical learning)'을 소개한다. 이는 상호보완적인 두 연구 방향을 제안한다: 보편적 학습 기계 구축과 기계적 학습의 형식적 기술. 핵심 기여는 규칙 기반 시스템을 통한 학습 연구를 위한 기초 프레임워크로, 공간적 패턴 인식에 중점을 두며, Church-Turing 논법에 영감을 받았다.

ABSTRACT

Mechanical learning is a computing system that is based on a set of simple and fixed rules, and can learn from incoming data. A learning machine is a system that realizes mechanical learning. Importantly, we emphasis that it is based on a set of simple and fixed rules, contrasting to often called machine learning that is sophisticated software based on very complicated mathematical theory, and often needs human intervene for software fine tune and manual adjustments. Here, we discuss some basic facts and principles of such system, and try to lay down a framework for further study. We propose 2 directions to approach mechanical learning, just like Church-Turing pair: one is trying to realize a learning machine, another is trying to well describe the mechanical learning.

연구 동기 및 목표

• 단순하고 고정된 규칙에 기반한 학습 시스템의 새로운 범주를 설정하기 위해.
• 복잡하고 인간이 조정하는 알고리즘에 의존하는 기존 기계 학습과는 대조적으로, 규칙 기반의 비파rameterized 처리를 강조함으로써 기계적 학습을 구분하기 위해.
• 보편적 학습 기계를 구축하고 기계적 학습을 형식적으로 기술하는 두 가지 상호보완적인 연구 방향을 제안하기 위해.
• 분석을 단순화하고 기초적인 이해를 구축하기 위해 일시적으로 시공간 학습에 집중하고, 이후 시간적 학습으로 확장하기 위해.
• 규칙 기반 시스템에서 일반화, 추상화, 사전 지식 통합, 패턴 복잡성 등의 핵심 학습 능력을 탐색하기 위해.

제안 방법

• N비트 입력에서 M비트 출력으로의 사상으로서 정보 처리 단위(IPU)를 정의하여 내부 처리를 추상화하기 위해.
• 고정된 규칙 집합에 의해 지배되는 과정으로서 기계적 학습을 형식화하여, 파rameterized 모델을 피하기 위해.
• 기계적 계산(Church-Turing)과 기계적 학습 사이의 유사성을 도출하여, 학습에 대한 확장된 Church-Turing 논법을 제안하기 위해.
• 시간적 시퀀스로의 확장을 앞서, 입력 공간 내 패턴에 국한하여 공간적 학습에 제한하여 분석하기 위해.
• 비파arameterized이고 보편적인 학습 시스템을 위한 유망한 기초로 연결주의 모델을 제안하기 위해.
• 논리, 연결주의, 확률론적, 유사성 기반, 진화적 학습 패러다임을 통합하는 단일 규칙 기반 프레임워크 내에서 통합을 주장하기 위해.

실험 결과

연구 질문

• RQ1 인간이 조정한 파rameter 없이 단지 단순하고 고정된 규칙만으로 학습 시스템이 지능적인 행동을 달성할 수 있는가?
• RQ2 파rameterized 모델에 의존하지 않고 보편적 학습 기계를 어떻게 구축할 수 있는가?
• RQ3 계산의 Church-Turing 논법과 유사하게 기계적 학습을 기술할 수 있는 형식적 프레임워크는 무엇인가?
• RQ4 일반화와 추상화는 규칙 기반 학습 시스템에서 어떻게 자연스럽게 발생할 수 있는가?
• RQ5 패턴 복잡성과 기계적 학습 시스템의 학습 능력 사이의 관계는 무엇인가?

주요 결과

• 기계적 학습은 복잡하고 조정 가능한 알고리즘에 의존하는 기존 기계 학습과는 다름없이, 고정된 규칙 집합에 의해 지배되는 학습 과정으로 정의된다.
• 논문은 기계적 학습이 두 가지 동치의 길을 통해 접근될 수 있다고 제안한다: 보편적 학습 기계를 구축하고, 기계적 학습을 형식적으로 기술하는 것으로, Church-Turing 논법과 유사하다.
• 분석의 단순화를 위해 공간적 학습이 기초 단계로 우선시되며, 시간적 의존성이 없이 패턴 인식 분석이 가능하다.
• 일반화와 추상화는 기계적 학습 시스템이 달성해야 할 핵심 능력으로 확인되지만, 그 형식적 메커니즘은 여전히 열려 있는 연구 과제이다.
• 논문은 연결주의 모델이 비파arameterized이고 보편적인 학습 시스템으로 향하는 실현 가능한 길이 될 수 있다고 제안한다.
• 논리, 확률론적, 진화적, 유사성 기반 학습 패러다임을 하나의 규칙 기반 시스템에 통합하는 것은 향후 유망한 연구 방향으로 제안된다.