[논문 리뷰] Machine Learning: Basic Principles

Alexander Jung|arXiv (Cornell University)|2018. 05. 14.

Neural Networks and Applications참고 문헌 85인용 수 8

한 줄 요약

이 튜토리얼은 가설 수립, 데이터 기반 검증, 반복적 개선의 공학적 사이클을 통해 기계 학습의 기본 원리를 제시한다. 기울기 하강법과 모델, 손실 함수, 최적화 기법을 체계적으로 조합하는 설계 패턴을 강조하여 지능형 시스템을 구축한다.

ABSTRACT

This tutorial introduces some main concepts of machine learning (ML). From an engineering point of view, the field of ML revolves around developing software that implements the scientific principle: (i) formulate a hypothesis (choose a model) about some phenomenon, (ii) collect data to test the hypothesis (validate the model) and (iii) refine the hypothesis (iterate). One important class of algorithms based on this principle are gradient descent methods which aim at iteratively refining a model which is parametrized by some (weight) vector. A plethora of ML methods is obtained by combining different choices for the hypothesis space (model), the quality measure (loss) and the computational implementation of the model refinement (optimization method). %Many of the current systems, which are considered as (artificially) intelligent, are based on %combinations of few basic machine learning methods. After formalizing the main building blocks of an ML problem, some popular algorithmic design patterns for ML methods are discussed. This tutorial grew out of the lecture notes developed for the courses Machine Learning: Basic Principles and Artificial Intelligence, which I have co-taught since 2015 at Aalto University.

연구 동기 및 목표

• 교육적 및 실용적 적용을 위해 기계 학습 문제의 기본 구성 요소를 체계화하기 위해.
• 모델 개발의 공학적 사이클인 가설 수립, 데이터 검증, 반복적 개선을 명확히 하기 위해.
• 모델 클래스, 손실 함수, 최적화 방법을 선택하고 조합하기 위한 체계적 프레임워크를 제공하기 위해.
• 기본 기계 학습 원리에 기반한 재사용 가능한 알고리즘 패턴을 통해 지능형 시스템 설계를 지원하기 위해.

제안 방법

• 기계 학습을 세 단계 과정으로 체계화함: (1) 모델을 가설화하고, (2) 이를 검증하기 위한 데이터를 수집하며, (3) 반복적으로 가설을 개선함.
• 기울기 하강법을 파arametric 모델을 개선하기 위한 중심 최적화 방법으로 도입하며, 가중치 벡터를 사용함.
• 기계 학습 설계를 세 가지 구성 요소의 조합으로 기반으로 설정함: 가설 공간(모델), 품질 측정 기준(손실 함수), 최적화 알고리즘.
• 아울로 대학교의 강의 기반 개발을 활용하여 튜토리얼을 실용적이고 교육적으로 기반을 다짐.
• 모델, 손실 함수, 최적화 선택 간의 상호작용에서 유도된 알고리즘 설계 패턴을 강조함.
• 현대 지능형 시스템이 기본 기계 학습 방법의 조합으로 어떻게 구축되는지 이 프레임워크를 적용하여 설명함.

실험 결과

연구 질문

• RQ1 기계 학습을 가설 검증과 개선의 체계적 공학적 과정으로 어떻게 프레임워크화할 수 있는가?
• RQ2 기계 학습 문제를 정의하는 핵심 구성 요소는 무엇이며, 이들이 어떻게 상호작용하는가?
• RQ3 기울기 하강법은 파arametric 학습에서 반복적 모델 개선을 어떻게 가능하게 하는가?
• RQ4 다양한 모델 클래스, 손실 함수, 최적화 기법을 조합할 때 도출되는 설계 패턴은 무엇인가?
• RQ5 기초 기계 학습 방법은 현대 인공지능 시스템의 功能을 어떻게 뒷받침하는가?

주요 결과

• 기계 학습은 일관되게 가설, 검증, 개선의 반복적 공학적 사이클로 이해할 수 있다.
• 기울기 하강법은 정의된 손실 함수를 최소화하여 파arametric 모델을 개선하는 데 중심적인 역할을 한다.
• 모델 클래스, 손실 함수, 최적화 방법의 조합은 다양한 기계 학습 알고리즘 설계의 핵심이 된다.
• 많은 현대 AI 시스템은 몇 가지 기본 기계 학습 방법의 조합으로 구성되어 있다.
• 이 튜토리얼의 프레임워크는 아울로 대학교의 실제 강의 개발 및 교육적 적용에 기반한다.
• 모델, 손실 함수, 최적화 간의 상호작용에서 체계적 설계 패턴이 도출되며, 이는 확장 가능하고 재사용 가능한 기계 학습 시스템 개발을 가능하게 한다.