[论文解读] Active Learning of Hyperparameters: An Expected Cross Entropy Criterion for Active Model Selection

Johannes Kulick, Robert Lieck+1 more|arXiv (Cornell University)|Sep 26, 2014

Machine Learning and Algorithms参考文献 23被引用 8

一句话总结

本文提出了一种新颖的主动学习框架，用于超参数与特征选择，采用期望交叉熵准则来衡量关于潜在模型参数的信息增益。通过最小化超参数先验分布与期望后验分布之间的差异，该方法在减少查询次数的前提下，比标准的预测不确定性方法和版本空间方法更高效地揭示了潜在模型特性。

ABSTRACT

In standard active learning, the learner’s goal is to reduce the predictive uncertainty with as little data as possible. We consider a slightly different problem: the learner’s goal is to uncover latent properties of the model—e.g., which features are relevant (“active feature selection”), or the choice of hyper parameters—with as little data as possible. While the two goals are clearly related, we give examples where following the predictive uncertainty objective is suboptimal for uncovering latent parameters. We propose novel measures of information gain about the latent parameter, based on the divergence between the prior and expected posterior distribution over the latent parameter in question. Notably, this is different from applying Bayesian experimental design to latent variables: we give explicit examples showing that the latter objective is prone to get stuck in local minima, unlike its application the standard predictive uncertainty. Extensive evaluations show that active learning using our measures significantly accelerates the uncovering of latent model parameters, as compared to standard version space approaches (Query-by-committee) as well as predictive uncertainty measures. 1

研究动机与目标

• 解决标准主动学习方法（通过最小化预测不确定性）在揭示潜在模型特性（如相关特征或超参数）方面的局限性。
• 开发一种直接针对潜在参数信息增益而非预测性能的方法。
• 克服将贝叶斯实验设计应用于潜在变量时固有的局部极小值问题。
• 通过数据高效的查询策略，加速最优超参数与主动特征的发现。
• 与基于查询委员会（Query-by-Committee）和预测不确定性主动学习相比，展示出更优的性能。

提出的方法

• 该方法提出了一种基于先验分布与潜在超参数上期望后验分布之间期望交叉熵的新信息增益度量。
• 通过在数据分布不确定性上积分，并利用当前模型的预测分布，计算超参数的期望后验分布。
• 获取函数选择能最大化关于潜在参数信息增益的下一个查询点，而非预测不确定性。
• 通过关注参数空间差异而非模型输出方差，避免了局部极小值问题。
• 与将贝叶斯实验设计应用于潜在变量的方法不同，该方法显式建模了在数据收集下期望后验分布的变化。
• 该方法在多个模型选择任务中进行了评估，包括特征相关性与超参数调优。

实验结果

研究问题

• RQ1 基于参数空间差异的主动学习准则是否能优于基于预测不确定性的方法，在发现潜在模型参数方面表现更优？
• RQ2 所提出的期望交叉熵准则与版本空间方法（如查询委员会）相比，在超参数与特征选择中的表现如何？
• RQ3 所提出的方法是否能避免贝叶斯实验设计应用于潜在变量时常见的局部极小值问题？
• RQ4 该方法在多大程度上减少了识别最优超参数或主动特征所需的查询次数？
• RQ5 该准则在不同模型类别与数据分布下是否具有鲁棒性？

主要发现

• 所提出的期望交叉熵准则显著加速了最优超参数的发现，相比基于标准预测不确定性的主动学习方法。
• 该方法在使用更少查询次数的情况下，优于基于查询委员会及其他版本空间方法，在识别相关特征与最优超参数方面表现更优。
• 该方法避免了贝叶斯实验设计应用于潜在变量时常见的局部极小值问题。
• 基于先验-后验差异的信息增益度量，显著加快了超参数搜索任务的收敛速度。
• 实证评估表明，该方法在多个基准任务中均实现了数据效率的持续提升。
• 该方法在极小数据量下能更优地揭示潜在模型结构，尤其在高维或稀疏参数空间中表现突出。