[논문 리뷰] Descriptions of Objectives and Processes of Mechanical Learning

Chuyu Xiong|arXiv (Cornell University)|2017. 05. 31.

Robotic Mechanisms and Dynamics참고 문헌 4인용 수 3

한 줄 요약

이 논문은 목적적 패턴과 주관적 패턴에 중심을 두고 기계적 학습을 위한 형식적 프레임워크를 제안하며, 내부 학습 과정을 위한 대수적 표현으로 X-형식을 도입한다. 충분한 데이터와 특정 학습 능력이 있으면, 매개변수 공간에 통합하거나 '더 높은 곳으로 압축'함으로써 학습 전략을 통해 어떤 패턴이라도 일반적으로 학습할 수 있음을 입증하며, 이는 일반 학습을 위한 이론적 기반을 제공하고, 이 프레임워크를 통해 딥 러닝을 재해석한다.

ABSTRACT

In [1], we introduced mechanical learning and proposed 2 approaches to mechanical learning. Here, we follow one such approach to well describe the objects and the processes of learning. We discuss 2 kinds of patterns: objective and subjective pattern. Subjective pattern is crucial for learning machine. We prove that for any objective pattern we can find a proper subjective pattern based upon least base patterns to express the objective pattern well. X-form is algebraic expression for subjective pattern. Collection of X-forms form internal representation space, which is center of learning machine. We discuss learning by teaching and without teaching. We define data sufficiency by X-form. We then discussed some learning strategies. We show, in each strategy, with sufficient data, and with certain capabilities, learning machine indeed can learn any pattern (universal learning machine). In appendix, with knowledge of learning machine, we try to view deep learning from a different angle, i.e. its internal representation space and its learning dynamics.

연구 동기 및 목표

• 기계적 학습의 대상과 과정을 형식화하여 목적적 패턴과 주관적 패턴을 구분한다.
• X-형식과 데이터의 충분성에 기반하여 기계적 시스템에서의 일반 학습을 위한 이론적 기반을 확립한다.
• 일부 능력을 지닌 학습 기계가 어떤 패턴이라도 학습할 수 있음을 입증하여, 일반 학습 기계로 간주할 수 있음을 보여준다.
• 내부 표현 공간과 학습 역학의 관점에서 딥 러닝을 재구성한다.
• 자기 인식, 확장 가능한 전략, 사전 지식 통합 기능을 갖춘 효과적인 학습 기계의 설계를 안내한다.

제안 방법

• 주관적 패턴을 위한 대수적 표현으로 X-형식을 도입하여 학습 기계의 내부 표현 공간을 구성한다.
• X-형식에 기반한 데이터의 충분성 정의: 주어진 X-형식을 지지하거나 경계할 수 있는 정도의 데이터.
• 세 가지 학습 전략을 제안: 매개변수 공간에 통합하기, 내부에서 고차원으로 압축하기, 그리고 내외부에서 동시에 압축하기.
• 충분한 데이터와 특정 능력이 있으면 학습 기계가 일반 학습 기계가 되며, 이를 입증한다.
• 레벨 1 학습 기계를 기초로 삼으며, 자기 수정을 통해 고차원 학습으로의 진화 가능성을 고려한다.
• 딥 러닝(예: RBM 스택)을 제안된 프레임워크에서 매개변수 공간에 통합하는 전략의 구체적 사례로 재해석한다.

실험 결과

연구 질문

• RQ1 기계적 학습 시스템에서 목적적 패턴은 주관적 패턴을 통해 어떻게 체계적으로 표현되고 학습될 수 있는가?
• RQ2 학습 기계가 어떤 패턴이라도 일반적으로 학습할 수 있도록 보장하기 위해 데이터와 능력에 필요한 조건은 무엇인가?
• RQ3 X-형식로 정의된 내부 표현 공간은 학습 역학과 추상화를 어떻게 규정하는가?
• RQ4 학습-교수 전략은 어떻게 일반 학습을 가능하게 하는가? 이는 비지도 학습에 어떻게 기여할 수 있는가?
• RQ5 딥 러닝은 제안된 학습 전략과 어떻게 관련되어 있으며, 특히 매개변수 공간에의 통합 전략과 어떻게 대응하는가?

주요 결과

• 모든 목적적 패턴에 대해 최소 기저 패턴을 사용하여 X-형식으로 표현된 주관적 패턴을 구성할 수 있으며, 이는 표현 가능성 보장을 위한 것이다.
• 데이터의 충분성은 X-형식을 지지하거나 경계하는 데 기반하여 형식적으로 정의되며, 적절한 훈련 데이터의 기준을 제공한다.
• 세 가지 학습 전략—매개변수 공간에의 통합, 내부 압축, 그리고 내외부 병합 압축—은 충분한 데이터와 능력이 있으면 일반 학습을 가능하게 한다.
• 첫 번째 전략인 매개변수 공간에의 통합은 Restricted Boltzmann Machine 스택에서 딥 러닝의 핵심 메커니즘으로 확인된다.
• 교수를 통한 학습과 비교적 교육 없이도 학습할 수 있는 능력을 지닌 학습 기계는 일반 학습 기계임이 증명되었으며, 이는 최소한의 효과적인 능력으로 간주된다.
• 이 프레임워크는 수학적 학습 이론의 이론적 기반을 제공하며, X-형식이 학습 기계를 위한 자연스럽고 탐색 가능한 내부 표현 공간을 형성함을 시사한다.