[论文解读] Analysis of a Design Pattern for Teaching with Features and Labels

Christopher Meek, Patrice Y. Simard+1 more|arXiv (Cornell University)|Nov 18, 2016

Machine Learning and Algorithms参考文献 12被引用 4

一句话总结

本文提出了错误驱动特征化（Error-Driven-Featuring, EDF）设计模式，用于通过特征和标签教学机器学习分类器，其中仅在需要纠正预测错误时才添加特征。该文为线性分类器和1-NN分类器提供了标注成本与特征化成本的理论边界，表明EDF在降低不良特征选择风险的同时，保持了标注成本的有界性，尤其在低容量学习器中表现更优。

ABSTRACT

We study the task of teaching a machine to classify objects using features and labels. We introduce the Error-Driven-Featuring design pattern for teaching using features and labels in which a teacher prefers to introduce features only if they are needed. We analyze the potential risks and benefits of this teaching pattern through the use of teaching protocols, illustrative examples, and by providing bounds on the effort required for an optimal machine teacher using a linear learning algorithm, the most commonly used type of learners in interactive machine learning systems. Our analysis provides a deeper understanding of potential trade-offs of using different learning algorithms and between the effort required for featuring (creating new features) and labeling (providing labels for objects).

研究动机与目标

• 量化使用特征和标签训练机器所需的教学工作量，重点关注特征工程与标注之间的权衡。
• 分析错误驱动特征化（EDF）设计模式的风险与收益，其中仅在需要修复错误时才引入新特征。
• 为线性分类器和1-NN分类器在不同教学协议下提供最优教学成本（特别是概念指定成本与无效化成本）的理论边界。
• 比较不同特征选择策略对教学效率的影响，尤其关注学习算法容量的影响。
• 通过分析理想化但可解析处理的教学协议中的成本权衡，指导教师在特征工程与标注工作量之间实现平衡。

提出的方法

• 引入基于格的特征集表示方法，以建模依赖关系，确保仅在构成特征被定义后才教授新特征。
• 提出两种教学协议：开放特征化（灵活选择特征与标签）和错误驱动特征化（EDF），后者仅在需要纠正错误时添加特征。
• 使用形式化的教学成本模型，将其分解为概念指定成本（标签数量）与无效化成本（用于拒绝错误特征集所需的样本数）。
• 将教学维度框架应用于线性分类器和1-最近邻（1-NN）分类器，假设存在有限个可实现的对象集合。
• 通过全文中的命题证明，推导出两种学习算法在最优情况下的概念指定成本与无效化成本的紧致理论边界。
• 证明对于线性分类器，EDF下的标注成本被限制在2(|F| + 1)以内；而对于1-NN分类器，由于模型容量较高，概念指定成本无界。

实验结果

研究问题

• RQ1 在错误驱动特征化协议下，使用线性分类器教学目标分类函数的最优标注成本是多少？
• RQ2 高容量（1-NN）与低容量（线性）学习算法在不良特征选择风险方面有何差异？
• RQ3 EDF协议的标注成本是否可以有界？若可以，其条件是什么？
• RQ4 开放特征化与EDF协议在概念指定成本与无效化成本方面有何不同？
• RQ5 线性分类器与1-NN分类器在最坏情况下的教学成本与特征集大小之间存在何种关系？

主要发现

• 线性分类器的最优概念指定成本被限制在|F| + 1以内，其中|F|为特征集大小，如命题7所示。
• 线性分类器的最优无效化成本被限制在|F| + 2以内，如命题9所确立，且该边界为紧致边界。
• 对于1-NN分类器，由于模型容量较高，概念指定成本随特征集大小呈无界增长。
• 在EDF协议下，使用线性分类器对最小充分特征集的标注成本最多为2(|F| + 1)，如命题5所证明。
• EDF协议确保仅在必要时才添加特征集，从而降低引入无关或有害特征的风险，尤其在高容量学习器中更为显著。
• 1-NN的无效化成本被限制在2以内，如命题8所示，但此限制无法阻止因模型容量导致的概念指定成本无界。