[論文レビュー] Machine Learning: Basic Principles

Alexander Jung|arXiv (Cornell University)|May 14, 2018

Neural Networks and Applications参考文献 85被引用数 8

ひとこと要約

このチュートリアルは、仮説の提示、データ駆動型の検証、反復的改善のエンジニアリング・サイクルを通じて、機械学習の基礎的原則を提示する。勾配降下法と、モデル、損失関数、最適化手法を組み合わせるための体系的設計パターンの重要性を強調している。

ABSTRACT

This tutorial introduces some main concepts of machine learning (ML). From an engineering point of view, the field of ML revolves around developing software that implements the scientific principle: (i) formulate a hypothesis (choose a model) about some phenomenon, (ii) collect data to test the hypothesis (validate the model) and (iii) refine the hypothesis (iterate). One important class of algorithms based on this principle are gradient descent methods which aim at iteratively refining a model which is parametrized by some (weight) vector. A plethora of ML methods is obtained by combining different choices for the hypothesis space (model), the quality measure (loss) and the computational implementation of the model refinement (optimization method). %Many of the current systems, which are considered as (artificially) intelligent, are based on %combinations of few basic machine learning methods. After formalizing the main building blocks of an ML problem, some popular algorithmic design patterns for ML methods are discussed. This tutorial grew out of the lecture notes developed for the courses Machine Learning: Basic Principles and Artificial Intelligence, which I have co-taught since 2015 at Aalto University.

研究の動機と目的

• 教育的および実用的応用を目的として、機械学習問題の基本的構成要素を形式化すること。
• モデル開発のエンジニアリング・サイクル（仮説の提示、データによる検証、反復的改善）を明確にすること。
• モデルクラス、損失関数、最適化手法の選定と組み合わせるための体系的フレームワークを提供すること。
• コアな機械学習原則に基づいた再利用可能なアルゴリズム的パターンを通じて、知能システムの設計を支援すること。

提案手法

• 機械学習を三段階のプロセスとして形式化する：(1) モデルを仮説として提示し、(2) それを検証するデータを収集し、(3) 反復的に仮説を改善する。
• パラメトリックモデルを改善するために、重みベクトルを用いた勾配降下法を中央的な最適化手法として導入する。
• 仮説空間（モデル）、品質測定基準（損失関数）、最適化アルゴリズムという三つの要素の組み合わせを、機械学習設計の核とする。
• アウルト大学の講義を基盤として、実践的で教育的経験に基づいたチュートリアルを構築する。
• モデル、損失関数、最適化の選択の相互作用から生じるアルゴリズム的設計パターンに重点を置く。
• 現代の知能システムが基本的な機械学習手法の組み合わせによって構築されることを、このフレームワークを用いて説明する。

実験結果

リサーチクエスチョン

• RQ1 機械学習を、仮説検証と改善のエンジニアリング・プロセスとして体系的にどのようにフレームワーク化できるか？
• RQ2 機械学習問題を定義づけるコアな構成要素は何か、それらはどのように相互作用するか？
• RQ3 勾配降下法は、パラメトリック学習における反復的モデル改善をどのように可能にするか？
• RQ4 異なるモデルクラス、損失関数、最適化手法を組み合わせることで、どのような設計パターンが生じるか？
• RQ5 基礎的な機械学習手法は、現代の人工知能システムの機能をどのように支えているか？

主な発見

• 機械学習は、一貫して仮説、検証、改善の反復的エンジニアリング・サイクルとして理解できる。
• 勾配降下法は、定義された損失関数を最小化することで、パラメトリックモデルの改善に中心的な役割を果たす。
• モデルクラス、損失関数、最適化手法の組み合わせが、多様な機械学習アルゴリズム設計の基盤を形成する。
• 多くの現代のAIシステムは、少数の基本的機械学習手法の組み合わせで構成されている。
• このチュートリアルのフレームワークは、アウルト大学での現実のコース開発と教育的応用に基づいている。
• モデル、損失関数、最適化の相互作用から、スケーラブルで再利用可能な機械学習システム開発を可能にする体系的設計パターンが生じる。