[论文解读] Machine Learning: Basic Principles

Alexander Jung|arXiv (Cornell University)|May 14, 2018

Neural Networks and Applications参考文献 85被引用 8

一句话总结

本教程通过假设构建、数据驱动验证和迭代优化的工程流程，阐述了机器学习的基础原理。它强调梯度下降方法，并系统性地介绍组合模型、损失函数和优化技术的设计模式，以构建智能系统。

ABSTRACT

This tutorial introduces some main concepts of machine learning (ML). From an engineering point of view, the field of ML revolves around developing software that implements the scientific principle: (i) formulate a hypothesis (choose a model) about some phenomenon, (ii) collect data to test the hypothesis (validate the model) and (iii) refine the hypothesis (iterate). One important class of algorithms based on this principle are gradient descent methods which aim at iteratively refining a model which is parametrized by some (weight) vector. A plethora of ML methods is obtained by combining different choices for the hypothesis space (model), the quality measure (loss) and the computational implementation of the model refinement (optimization method). %Many of the current systems, which are considered as (artificially) intelligent, are based on %combinations of few basic machine learning methods. After formalizing the main building blocks of an ML problem, some popular algorithmic design patterns for ML methods are discussed. This tutorial grew out of the lecture notes developed for the courses Machine Learning: Basic Principles and Artificial Intelligence, which I have co-taught since 2015 at Aalto University.

研究动机与目标

• 将机器学习问题的基本组成部分形式化，以供教育和实际应用。
• 阐明模型开发的工程流程：假设构建、数据验证和迭代优化。
• 提供一个系统框架，用于选择和组合模型类别、损失函数和优化方法。
• 通过基于核心机器学习原理的可重用算法模式，支持智能系统的设计。

提出的方法

• 将机器学习形式化为三步过程：(1) 构建一个假设模型，(2) 收集数据进行测试，(3) 迭代优化假设。
• 引入梯度下降作为核心优化方法，用于通过权重向量优化参数化模型。
• 将机器学习设计围绕三个核心组件构建：假设空间（模型）、质量度量（损失函数）和优化算法。
• 基于阿尔托大学课程的讲授内容，使本教程建立在实际教学经验之上。
• 强调由模型、损失函数和优化选择之间的相互作用所衍生出的算法设计模式。
• 将该框架应用于解释现代智能系统如何由基本机器学习方法的组合构建而成。

实验结果

研究问题

• RQ1 如何将机器学习系统性地框架化为假设检验与优化的工程流程？
• RQ2 定义机器学习问题的核心组件是什么？它们之间如何相互作用？
• RQ3 梯度下降方法如何在参数化学习中实现模型的迭代改进？
• RQ4 在组合不同模型类别、损失函数和优化技术时，会涌现出哪些设计模式？
• RQ5 基础机器学习方法如何支撑现代人工智能系统的核心功能？

主要发现

• 机器学习可被一致理解为一种迭代的工程循环：假设、验证与优化。
• 梯度下降方法在通过最小化定义的损失函数来优化参数化模型方面起着核心作用。
• 模型类别、损失函数与优化方法的组合构成了多样化机器学习算法设计的基石。
• 许多现代人工智能系统由少数几种基础机器学习方法的组合构成。
• 本教程的框架基于阿尔托大学实际课程开发与教学应用。
• 模型、损失函数与优化之间的相互作用催生出系统性设计模式，从而实现可扩展且可重用的机器学习系统开发。