[论文解读] Restricted Boltzmann Machines for Robust and Fast Latent Truth Discovery

Klaus Broelemann, Thomas Gottron+1 more|arXiv (Cornell University)|Dec 31, 2017

Adversarial Robustness in Machine Learning参考文献 11被引用 7

一句话总结

本文提出了一种新型潜在真相发现方法 LTD-RBM，该方法基于限制玻尔兹曼机（RBMs），能够从噪声大且相互矛盾的数据中联合推断出真相值和源可靠性。通过对比发散（Contrastive Divergence）与吉布斯采样（Gibbs sampling），LTD-RBM 在多种数据集上均展现出卓越的有效性、效率和鲁棒性，尤其在不同超参数设置和数据质量条件下，优于当前最先进的方法。

ABSTRACT

We address the problem of latent truth discovery, LTD for short, where the goal is to discover the underlying true values of entity attributes in the presence of noisy, conflicting or incomplete information. Despite a multitude of algorithms to address the LTD problem that can be found in literature, only little is known about their overall performance with respect to effectiveness (in terms of truth discovery capabilities), efficiency and robustness. A practical LTD approach should satisfy all these characteristics so that it can be applied to heterogeneous datasets of varying quality and degrees of cleanliness. We propose a novel algorithm for LTD that satisfies the above requirements. The proposed model is based on Restricted Boltzmann Machines, thus coined LTD-RBM. In extensive experiments on various heterogeneous and publicly available datasets, LTD-RBM is superior to state-of-the-art LTD techniques in terms of an overall consideration of effectiveness, efficiency and robustness.

研究动机与目标

• 解决现有潜在真相发现（LTD）方法在有效性、效率和鲁棒性方面缺乏整体评估的问题。
• 开发一种实用的 LTD 方法，使其在数据质量与源可靠性各异的异构数据集上均表现良好。
• 确保在多种超参数设置下保持稳定且高性能，以反映真实世界部署中的挑战。
• 克服以往研究的局限，如预处理不透明、参数依赖性强以及缺乏鲁棒性评估。
• 提供一种通用、可扩展且鲁棒的模型，能够处理真相发现任务中的离散与连续数据类型。

提出的方法

• 基于受限玻尔兹曼机（RBMs）构建概率模型，形式化 LTD 问题，实现真相值与源可靠性的同时推断。
• 采用对比发散（Contrastive Divergence）实现 RBM 中的高效参数学习，提升训练过程的收敛速度。
• 结合吉布斯采样对潜在变量进行近似推断，支持在不确定性下的稳健估计。
• 设计一种通用的数据模型，支持离散与连续属性值，提升对多样化数据类型的适用性。
• 采用交替优化策略，以识别准确率为标准，对超参数（先验源可靠性、学习率、衰减率以及 2-Estimates 特定参数）进行调优。
• 实现一个预处理流程，对数据进行归一化并减少冲突性陈述，同时在未经处理的数据上仍保持模型的鲁棒性。

实验结果

研究问题

• RQ1 LTD-RBM 在多种数据集上与当前最先进的 LTD 方法相比，在整体有效性、效率和鲁棒性方面表现如何？
• RQ2 当真实标签未知时，LTD-RBM 对超参数设置变化的鲁棒性如何，尤其在不同配置下？
• RQ3 预处理对 LTD 方法性能有何影响？LTD-RBM 在原始数据与预处理后数据上是否均保持高性能？
• RQ4 基于 RBM 的模型能否有效处理冲突、噪声和不完整信息，同时保持高准确率与计算效率？
• RQ5 在不同数据质量与源准确率水平下，LTD-RBM 的表现如何，特别是在归一化熵与陈述重复率方面？

主要发现

• 在所有数据集中，LTD-RBM 在识别准确率方面均达到最高整体性能，优于 MLE、LTM 和 2-Estimates。
• 在预处理后的航班数据集上，LTD-RBM 在所有初始假阳性率设置下均保持高准确率（超过 80%），展现出强大的鲁棒性。
• 即使在超参数选择不佳的情况下，该算法仍表现出稳定性能，而 MLE 和 LTM 在次优设置下性能显著下降。
• 在未经处理、陈述多样性高的数据集中，LTD-RBM 的分类版本表现最佳，凸显其在处理原始、噪声数据方面的优势。
• 在高熵数据集中，模型的鲁棒性尤为突出，尽管真相发现难度增加，其准确率仍保持显著领先。
• 研究发现，预处理对结果影响显著，而 LTD-RBM 的性能受此类变化的影响小于其他竞争方法。