[论文解读] Introduction to Machine Learning: Class Notes 67577

Amnon Shashua|ArXiv.org|Apr 23, 2009

Neural Networks and Applications参考文献 6被引用 38

一句话总结

本文通过贝叶斯决策理论、最大似然估计以及优化中的对偶性等基础概念，全面介绍了机器学习。文中介绍了关键算法，包括EM算法、使用核方法的支持向量机以及谱聚类，通过在对偶性框架下建立分类、密度估计与优化之间的理论联系，其核心贡献在于将基于概率和凸优化框架的学习原理统一起来。

ABSTRACT

Introduction to Machine learning covering Statistical Inference (Bayes, EM, ML/MaxEnt duality), algebraic and spectral methods (PCA, LDA, CCA, Clustering), and PAC learning (the Formal model, VC dimension, Double Sampling theorem).

研究动机与目标

• 通过概率和优化框架，提供一个严谨但易于理解的核心机器学习原理介绍。
• 建立贝叶斯推断、最大似然估计与最大熵原理之间的理论联系。
• 展示凸优化中的对偶性如何使复杂学习问题的高效求解成为可能。
• 在统一的数学基础之上整合关键算法（如EM、SVM和谱聚类）。
• 为研究人员提供理解泛化性、可学习性以及VC维在统计学习中作用的工具。

提出的方法

• 使用贝叶斯决策理论，将分类建模为在输入与标签的联合概率分布下的推断。
• 应用最大似然估计，推导混合模型和密度估计中的参数更新。
• 采用EM算法，在具有潜变量的模型中通过E步和M步过程迭代最大化似然函数。
• 在SVM中引入核技巧，将输入映射到高维空间以实现线性可分，使用多项式核和RBF核。
• 通过协方差矩阵的特征分解，推导PCA和LDA作为方差最大化与类可分性问题的解。
• 通过归一化切分和拉普拉斯矩阵的特征分解，将谱聚类表述为图划分问题。

实验结果

研究问题

• RQ1 如何利用先验分布和似然估计，通过贝叶斯公式计算后验概率？
• RQ2 在什么条件下，凸优化问题的对偶问题能与原始问题得到相同的解？
• RQ3 EM算法如何通过交替计算充分统计量的期望和最大化对数似然期望，迭代改进具有隐藏变量模型的参数估计？
• RQ4 核函数在何种方式下使线性分类器能够解决非线性可分问题？
• RQ5 VC维与PAC学习所需的样本复杂度之间有何关系？

主要发现

• 贝叶斯公式通过先验、证据和类条件似然，实现了后验概率的估计，构成了最优决策规则的基础。
• 当目标函数和不等式约束为凸函数，等式约束为仿射函数时，强对偶定理成立，确保无对偶间隙。
• EM算法通过在计算期望充分统计量和最大化期望对数似然之间交替迭代，收敛至似然函数的局部最大值。
• 支持向量机通过求解二次规划问题实现最大间隔分离，核技巧使非线性决策边界成为可能。
• 使用归一化切分的谱聚类通过平衡簇大小并最小化簇间连通性，相比最小割方法实现了更优的聚类性能。
• VC维为PAC学习所需的样本量提供了理论边界，双采样定理给出了样本复杂度的多项式界。