[论文解读] Knowledge-Based Trust: Estimating the Trustworthiness of Web Sources

Xin Luna Dong, Evgeniy Gabrilovich+6 more|arXiv (Cornell University)|Feb 12, 2015

Access Control and Trust被引用 14

一句话总结

本文提出基于知识的可信度（KBT），通过使用多层概率模型联合建模事实正确性与抽取错误，来评估网络来源的可信度。该方法在包含2.8亿条抽取事实的1.19亿个网页和560万个网站上实现了高准确率，能有效区分来源错误与抽取错误，其性能优于以往方法。

ABSTRACT

The quality of web sources has been traditionally evaluated using exogenous signals such as the hyperlink structure of the graph. We propose a new approach that relies on endogenous signals, namely, the correctness of factual information provided by the source. A source that has few false facts is considered to be trustworthy. The facts are automatically extracted from each source by information extraction methods commonly used to construct knowledge bases. We propose a way to distinguish errors made in the extraction process from factual errors in the web source per se, by using joint inference in a novel multi-layer probabilistic model. We call the trustworthiness score we computed Knowledge-Based Trust (KBT). On synthetic data, we show that our method can reliably compute the true trustworthiness levels of the sources. We then apply it to a database of 2.8B facts extracted from the web, and thereby estimate the trustworthiness of 119M webpages. Manual evaluation of a subset of the results confirms the effectiveness of the method.

研究动机与目标

• 解决传统网页来源质量评估方法依赖外部信号（如超链接）的局限性，这些信号往往反映的是流行度而非事实准确性。
• 开发一种基于从网页来源抽取的信息的事实正确性来估计来源可信度的方法，使用内生信号。
• 区分网页本身的事实错误与信息抽取系统引入的错误，而这是以往方法未能分离的问题。
• 在保持计算效率和准确性的前提下，将可信度估计过程扩展到数十亿条事实和网页来源。
• 为网页质量评估提供一种可靠、数据驱动的信号，以补充PageRank等现有指标。

提出的方法

• 该方法使用多层概率模型，联合推断抽取事实的正确性以及来源和抽取器的准确性，从而解决来源可信度与事实正确性之间的相互依赖关系。
• 将抽取建模为二值指示变量 X_{ewdv}，表示抽取器 e 是否从来源 w 中为数据项 d 抽取了值 v；并使用隐变量 C_{wdv} 和 T_{dv} 分别表示来源提供的事实和事实的真相。
• 通过迭代推理解决循环依赖：来源准确性依赖于事实正确性，而事实正确性又依赖于来源准确性，利用多个来源和抽取器之间的冗余打破对称性。
• 使用权威知识库初始化可信度估计，即使在数据稀疏的情况下也能确保收敛到准确解。
• 动态调整来源粒度——对低覆盖度页面进行聚合，或对高覆盖度网站进行拆分——以在准确性和计算可扩展性之间取得平衡。
• 设计了一种高效的推理与参数估计算法，可扩展至280亿条事实和1.19亿个网页，支持大规模部署。

实验结果

研究问题

• RQ1 概率模型能否联合估计抽取事实的正确性以及网页来源和抽取器的可信度，同时区分事实错误与抽取错误？
• RQ2 当数据稀疏时（如网页仅包含一两条抽取事实），该模型如何保持准确性和收敛性？
• RQ3 在大规模网络数据中，动态调整来源粒度（聚合或拆分）对可扩展性和估计准确性有何影响？
• RQ4 在识别可信来源方面，KBT与TrustRank或PageRank等现有方法相比表现如何，特别是在识别低流行度但事实准确的网站方面？
• RQ5 KBT在搜索和信息检索系统中，作为传统网页质量指标的补充信号，其适用范围有多大？

主要发现

• 该方法成功基于280亿条抽取事实，为1.19亿个网页和560万个网站计算出可靠的可信度评分，展示了在真实世界网络规模数据上的可扩展性。
• 人工评估证实，KBT能有效识别可信来源，包括那些不热门但事实准确的网站，而这些网站常被基于链接的指标所忽略。
• 该模型显著优于以往的单层方法，通过区分事实错误与抽取错误，大幅减少了对可靠来源的误判。
• 高KBT评分的网站主要为权威来源，如维基百科和政府网站；而低KBT评分则常见于论坛和八卦网站（如Yahoo Answers），这些网站包含明显的事实错误。
• 该方法通过实现更准确的来源可信度估计，提升了知识融合的性能，尤其在传统方法失效的低数据场景下表现更优。
• 动态来源粒度自适应策略有效缓解了计算瓶颈，并提升了在事实覆盖度差异极大的来源上的估计稳定性。