[論文レビュー] Introduction to Machine Learning: Class Notes 67577

Amnon Shashua|ArXiv.org|Apr 23, 2009

Neural Networks and Applications参考文献 6被引用数 38

ひとこと要約

本論文はベイズ意思決定理論、最尤推定、最適化における双対性の基礎的概念を通じて機械学習の包括的紹介を提供する。EMアルゴリズム、カーネル法を用いたサポートベクターマシン、スペクトルクラスタリングといった主要なアルゴリズムを提示し、分類、密度推定、最適化の間の理論的関係を双対性によって確立する。中心的貢献は、確率的および凸最適化フレームワークに裏打ちされた学習原理の統一的取り扱いである。

ABSTRACT

Introduction to Machine learning covering Statistical Inference (Bayes, EM, ML/MaxEnt duality), algebraic and spectral methods (PCA, LDA, CCA, Clustering), and PAC learning (the Formal model, VC dimension, Double Sampling theorem).

研究の動機と目的

• 確率的および最適化フレームワークを用いて、核心的な機械学習の原則について、厳密ではあるがアクセス可能な紹介を提供すること。
• ベイズ推論、最尤推定、および最大エントロピー原理の間の理論的関係を確立すること。
• 凸最適化における双対性が、複雑な学習問題に対する効率的解法を可能にする仕組みを示すこと。
• EM、SVM、スペクトルクラスタリングといった主要なアルゴリズムを、共通の数学的基盤の下に統合すること。
• 一般化、学習可能性、およびVC次元が統計的学習における役割を理解するためのツールを研究者に提供すること。

提案手法

• 入力とラベルの同時確率分布における推論として分類をモデル化するためにベイズ意思決定理論を用いる。
• 混合モデルおよび密度推定におけるパラメータ更新を導出するために最尤推定を適用する。
• 潜在変数を含むモデルにおける尤度を反復的に最大化するためにEMアルゴリズムを用い、EステップおよびMステップの手順を採用する。
• 多項式カーネルおよびRBFカーネルを用いて、入力を高次元空間にマップすることで線形分離を可能にするSVMにおけるカーネルトリックを導入する。
• 共分散行列の固有値分解を用いて、分散最大化およびクラス分離性の問題としてPCAとLDAを導出する。
• スペクトルクラスタリングでは、正規化カットとラプラシアン行列の固有値分解を用いて、グラフ分割としてクラスタリングを定式化する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ推論は、事前分布と尤度推定値から事後確率をどのように計算することができるか？
• RQ2 凸最適化問題の双対問題が元の問題と同じ解を得るために必要な条件は何か？
• RQ3 EMアルゴリズムは、隠れ変数を含むモデルにおいて、パラメータ推定値をどのように反復的に改善するか？
• RQ4 カーネル関数は、どのように線形分類器が非線形分離可能な問題を解けるようにするか？
• RQ5 VC次元は、PAC学習に必要な標本の複雑さとどのように関係するか？

主な発見

• ベイズの定理により、事前分布、証拠、およびクラスごとの尤度を用いて事後確率を推定でき、最適な意思決定ルールの基礎をなす。
• 目的関数と不等式制約が凸で、等式制約がアフィンである場合、強い双対性定理が成り立ち、双対ギャップが生じない。
• EMアルゴリズムは、期待十分統計の計算と期待対数尤度の最大化を交互に繰り返すことで、尤度関数の局所的最大値に収束する。
• サポートベクターマシンは二次計画法を解くことでマージン最大化分離を達成し、カーネルトリックにより非線形の決定境界を実現できる。
• 正規化カットを用いたスペクトルクラスタリングは、クラスタサイズのバランスを保ちつつクラスタ間接続性を最小化するため、min-cutよりも優れたクラスタリング性能を達成する。
• VC次元は、PAC学習に必要な標本サイズの理論的上限を提供し、二重標本定理により標本複雑さの多項式バインドが得られる。