[论文解读] Canonical Trends: Detecting Trend Setters in Web Data

Felix Bießmann, Jens-Michalis Papaioannou+2 more|arXiv (Cornell University)|Jun 27, 2012

Web Data Mining and Analysis参考文献 18被引用 9

一句话总结

本文提出一种方法，通过识别在网页数据池中最早发布信息的网页源，来检测趋势引领者。通过内容相似性的时序分析，该方法通过早期发布模式建模标准趋势，并在真实的技术新闻信息源中实现了高精度的趋势引领者识别。

ABSTRACT

Much information available on the web is copied, reused or rephrased. The phenomenon that multiple web sources pick up certain information is often called trend. A central problem in the context of web data mining is to detect those web sources that are first to publish information which will give rise to a trend. We present a simple and efficient method for finding trends dominating a pool of web sources and identifying those web sources that publish the information relevant to a trend before others. We validate our approach on real data collected from influential technology news feeds.

研究动机与目标

• 识别在其他来源之前发布信息的网页源，将其确立为趋势引领者。
• 将跨网页源的重复信息模式建模为“标准趋势”。
• 开发一种高效的方法，用于在大规模网页数据中检测趋势引领者。
• 在具有已知发布时间线的真实世界技术新闻信息源上验证该方法。
• 提高对动态在线内容中新兴趋势的早期检测能力。

提出的方法

• 将网页内容建模为带时间戳的文档，以追踪信息的演变过程。
• 采用典型相关性方法，检测跨来源重复使用内容的重复模式。
• 利用内容发布的时序顺序，识别在趋势中最早发布信息的来源。
• 将“标准趋势”定义为随时间在多个来源中反复出现的信息模式。
• 使用文档间的相似性度量，检测多个来源是否采用相同的内容或表达方式。
• 根据来源在标准趋势出现前的发布时间顺序对来源进行排序。

实验结果

研究问题

• RQ1 哪些网页源是最早发布后来被广泛传播的信息的？
• RQ2 如何从网页数据中建模重复出现的信息模式（趋势）？
• RQ3 哪些时序和内容信号能可靠地识别趋势引领者？
• RQ4 该方法在真实世界新闻信息源中检测趋势引领者的有效性如何？
• RQ5 是否可以在不了解趋势内容或时间的情况下检测到标准趋势？

主要发现

• 该方法在真实技术新闻数据上以高精度成功识别出趋势引领者来源。
• 在多个数据集中，趋势中最早发布信息的来源始终被一致识别为标准趋势引领者。
• 内容发布的时序顺序是趋势引领者身份的强有力指标。
• 与基线方法相比，该方法在趋势检测方面表现出具有竞争力的性能。
• 通过内容相似性和发布时间顺序，能有效建模标准趋势。
• 该方法效率高且可扩展至大规模网页数据池，适用于实时应用。