[论文解读] A Deep Learning Approach to Unsupervised Ensemble Learning

Uri Shaham, Xiuyuan Cheng+5 more|arXiv (Cornell University)|Feb 6, 2016

Mobile Crowdsensing and Crowdsourcing参考文献 31被引用 25

一句话总结

本文提出了一种基于深度学习的无监督集成学习方法，利用受限玻尔兹曼机（RBMs）建模分类器预测结果，尤其在Dawid-Skene模型的条件独立性假设被违反时表现更优。研究证明，仅含一个隐层节点的RBMs在数学上等价于Dawid-Skene模型，并进一步将其扩展为基于RBMs的深度神经网络（DNN）架构，在模拟数据集和真实世界数据集（包括基因组学与伽马射线分类任务）上均展现出更优性能。

ABSTRACT

We show how deep learning methods can be applied in the context of crowdsourcing and unsupervised ensemble learning. First, we prove that the popular model of Dawid and Skene, which assumes that all classifiers are conditionally independent, is {\em equivalent} to a Restricted Boltzmann Machine (RBM) with a single hidden node. Hence, under this model, the posterior probabilities of the true labels can be instead estimated via a trained RBM. Next, to address the more general case, where classifiers may strongly violate the conditional independence assumption, we propose to apply RBM-based Deep Neural Net (DNN). Experimental results on various simulated and real-world datasets demonstrate that our proposed DNN approach outperforms other state-of-the-art methods, in particular when the data violates the conditional independence assumption.

研究动机与目标

• 解决Dawid-Skene模型的局限性，该模型假设分类器之间条件独立——这一条件在实际中常被违反。
• 开发一种深度学习框架，以在无监督集成学习中建模分类器之间的复杂依赖关系。
• 通过利用基于RBMs的深度神经网络，提升众包和弱监督学习中的标签恢复准确率。
• 在缺乏真实标签的情况下，提供一种确定最优DNN架构的实用启发式方法。
• 证明深层网络中的特征表示可近乎不相关，同时保留标签信息，从而增强泛化能力。

提出的方法

• 证明在条件独立性假设下，Dawid-Skene模型在数学上等价于仅含一个隐层节点的受限玻尔兹曼机（RBM）。
• 利用训练好的RBMs估计在条件独立性假设下真实标签的后验概率。
• 将RBMs框架扩展为深度神经网络（DNN）架构，通过堆叠多层RBMs来建模复杂且相互依赖的分类器行为。
• 基于奇异值分解（SVD）提出一种启发式方法，以确定DNN架构的最佳深度与宽度。
• 使用随机配置采样进行仔细的超参数调优，通过随机梯度下降训练基于RBMs的DNN。
• 在训练过程中使用平均对数似然近似来评估并选择最优的超参数配置。

实验结果

研究问题

• RQ1 Dawid-Skene模型能否被重新解释为单隐层节点的RBMs？该等价性是否能实现更高效或更准确的推理？
• RQ2 当分类器错误存在依赖关系时，基于RBMs的深度神经网络如何在无监督集成学习中被有效应用？
• RQ3 所提出的DNN架构是否在条件独立性假设被违反时仍优于现有最先进方法？
• RQ4 DNN隐藏层中学习到的特征在在多大程度上变得不相关，同时仍保留关于真实标签的判别性信息？
• RQ5 基于SVD的启发式方法是否能可靠地确定无真实标签情况下的基于RBMs的DNN架构？

主要发现

• 基于RBMs的DNN在模拟数据集和真实世界数据集上均优于最先进方法，包括Dawid-Skene模型、CUBAM和L-SML。
• 在DREAM S3数据集（99个分类器，78,643个样本）上，DNN实现了98.51 ± 0.01的平衡准确率，显著优于次优方法（98.2*）。
• 在Magic Gamma Telescope数据集（40个合成数据集，每个含16个分类器）上，DNN在大多数数据集中优于所有其他方法，且基于SVD的架构始终为15-3-1配置。
• 在S3数据集中，当以真实标签为条件时，隐藏层特征近乎完全不相关，表明DNN有效实现了特征去相关。
• 在DREAM S1数据集（124个分类器）上，DNN实现了98.42 ± 0.00的平衡准确率，优于次优方法（98.3*）。
• 超参数调优至关重要；本方法采用随机配置采样与对数似然近似，成功识别出最优学习率、动量和正则化参数。