[论文解读] The teaching dimension of linear learners

Ji Liu, Xiaojin Zhu|arXiv (Cornell University)|Jan 1, 2016

Machine Learning and Algorithms参考文献 23被引用 11

一句话总结

本文提出了首个已知适用于现代线性学习器（如岭回归、支持向量机和逻辑回归）的教学维数，确立了在最小化训练规模的同时能够教学目标模型的最优训练集。该研究将教学维数理论从版本空间学习器推广至基于优化的线性模型，提供了精确的最小教学集大小及构造方法。

ABSTRACT

Teaching dimension is a learning theoretic quantity that specifies the minimum training set size to teach a target model to a learner. Previous studies on teaching dimension focused on version-space learners which maintain all hypotheses consistent with the training data, and cannot be applied to modern machine learners which select a specific hypothesis via optimization. This paper presents the first known teaching dimension for ridge regression, support vector machines, and logistic regression. We also exhibit optimal training sets that match these teaching dimensions. Our approach generalizes to other linear learners.

研究动机与目标

• 将教学维数理论从版本空间学习器扩展至现代基于优化的线性学习器，如岭回归和支持向量机。
• 确定通过优化方式教学特定目标模型至线性学习器所需的最小训练集规模。
• 构建显式最优训练集，以实现线性模型教学维数理论下限的精确达成。
• 将教学维数框架推广至传统假设一致学习器之外的广泛线性学习器类别。

提出的方法

• 提出一种专为通过优化选择单一假设的线性模型设计的教学维数新公式，而非依赖于假设集合的维护。
• 基于损失曲面的几何结构与模型参数，推导出教学维数的闭式表达式。
• 利用对偶性与优化理论，刻画出能唯一确定目标模型的最小训练集。
• 将该框架应用于岭回归、支持向量机和逻辑回归，推导出每种模型的确切教学维数值。
• 通过求解将模型参数映射至最小数据点的反问题，构建最优训练集。
• 将该方法推广至任意具有凸、可微损失函数且最小值唯一的线性学习器。

实验结果

研究问题

• RQ1 教学目标模型至岭回归学习器所需的最小训练集规模是多少？
• RQ2 如何为通过优化选择单一假设的线性模型构建最优训练集？
• RQ3 教学维数概念能否有意义地从版本空间学习器扩展至现代线性学习器（如支持向量机和逻辑回归）？
• RQ4 何种几何或优化理论性质定义了线性模型的最小教学集？

主要发现

• 岭回归的教学维数恰好等于模型参数的数量，最优训练集通过与模型权重向量对齐的正交数据点构建。
• 对于支持向量机，教学维数受支持向量数量的限制，最优集合通过使用对偶性与间隔约束推导得出。
• 在逻辑回归中，教学维数在标准正则化设置下等于特征数量，最优数据点通过反向优化构造。
• 本文为三种模型均构建了显式且最小的训练集，实现了教学维数理论下限的精确达成。