[논문 리뷰] A General Theory for Training Learning Machine

Hong Zhao|arXiv (Cornell University)|2017. 04. 23.

Neural Networks and Applications참고 문헌 2인용 수 3

한 줄 요약

이 논문은 사전 지식을 일반적이고 문제에 의존하는 구성요소로系계열적으로 분류하고, 설계 위험 최소화 원리를 도입하여 그 활용을 극대화함으로써 학습 기계를 훈련시키는 일반적인 이론적 프레임워크를 제안한다. 이를 통해 신경망 수준의 조정을 통한 입력-출력 민감도를 제어하는 몬테카를로 기반 알고리즘을 수립하여, 함수 근사, 분류, 그리고 유도 추론 작업 전반에 걸쳐 강건한 훈련을 가능하게 하며, 전이 함수, 비용 함수, 데이터 전처리에 대한 명확한 지침을 제공한다.

ABSTRACT

Though the deep learning is pushing the machine learning to a new stage, basic theories of machine learning are still limited. The principle of learning, the role of the a prior knowledge, the role of neuron bias, and the basis for choosing neural transfer function and cost function, etc., are still far from clear. In this paper, we present a general theoretical framework for machine learning. We classify the prior knowledge into common and problem-dependent parts, and consider that the aim of learning is to maximally incorporate them. The principle we suggested for maximizing the former is the design risk minimization principle, while the neural transfer function, the cost function, as well as pretreatment of samples, are endowed with the role for maximizing the latter. The role of the neuron bias is explained from a different angle. We develop a Monte Carlo algorithm to establish the input-output responses, and we control the input-output sensitivity of a learning machine by controlling that of individual neurons. Applications of function approaching and smoothing, pattern recognition and classification, are provided to illustrate how to train general learning machines based on our theory and algorithm. Our method may in addition induce new applications, such as the transductive inference.

연구 동기 및 목표

• 기계 학습 분야에서 기초 이론의 부족, 특히 사전 지식, 전이 함수, 비용 함수, 신경망 편향의 역할에 대한 문제를 해결하기 위해.
• 학습 과정에서 일반적이고 문제에 의존하는 사전 지식을 극대화하는 통합 프레임워크를 개발하기 위해.
• 신경망 전이 함수, 비용 함수, 데이터 전처리 기법을 원칙적으로 선택하기 위한 지침을 제공하기 위해.
• 개별 뉴런의 행동 조절을 통해 학습 기계의 입력-출력 민감도를 제어하기 위해.
• 제안된 이론적 및 알고리즘적 프레임워크를 통해 전도적 추론과 같은 새로운 응용 분야를 가능하게 하기 위해.

제안 방법

• 사전 지식을 일반(일반적) 및 문제에 의존하는(특수한) 구성요소로 분류하기.
• 사전 지식 활용을 극대화하기 위해 핵심 학습 목표로 설계 위험 최소화 원리를 제안하기.
• 입력-출력 반응을 모델링하고 제어하기 위해 몬테카를로 알고리즘을 사용하기.
• 개별 뉴런의 민감도 조절을 통해 전체 시스템의 민감도를 제어하기.
• 전이 함수, 비용 함수, 데이터 전처리의 역할을 문제에 의존하는 지식 통합을 향상시키기 위해 할당하기.
• 기존 해석과는 다름없이 뉴런 편향을 뉴런의 효과적 입력-출력 행동 조절 수단으로 정의하기.

실험 결과

연구 질문

• RQ1 사전 지식는 어떻게 체계적으로 분류하고 학습 기계에 극대화하여 통합할 수 있는가?
• RQ2 원칙적인 방식으로 신경망 전이 함수와 비용 함수를 선택하기 위한 이론적 근거는 무엇인가?
• RQ3 개별 뉴런 수준의 설계를 통해 학습 기계의 입력-출력 민감도는 어떻게 제어할 수 있는가?
• RQ4 뉴런 편향은 표준 활성 함수를 초월해 학습 과정에서 어떤 역할을 하는가?
• RQ5 제안된 프레임워크는 전도적 추론과 같은 새로운 응용 분야를 지원할 수 있는가?

주요 결과

• 설계 위험 최소화 원리는 학습 기계에서 일반적이고 문제에 의존하는 사전 지식를 극대화하는 데 이론적 기반을 제공한다.
• 몬테카를로 알고리즘은 입력-출력 반응을 정확하게 모델링할 수 있으며, 네트워크 전반에 걸친 민감도를 체계적으로 제어할 수 있게 한다.
• 개별 뉴런의 민감도를 제어하는 것은 전체 시스템의 입력-출력 행동을 효과적으로 조절하여 강건성과 일반화 능력을 향상시킨다.
• 프레임워크는 사전 지식에 기반하여 전이 함수, 비용 함수, 데이터 전처리 단계의 선택에 대해 명확하고 원칙적인 지침을 제공한다.
• 이론은 전도적 추론과 같은 새로운 응용 분야를 지원하며, 기존 학습 기계의 패러다임 범위를 확장한다.
• 함수 근사, 스무딩, 분류 분야에서의 실증 응용은 이 프레임워크의 효과성과 유연성을 입증한다.