[论文解读] Local Community Identification through User Access Patterns

Rodrigo B. Almeida, Virgı́lio Almeida|ArXiv.org|Dec 16, 2002

Web Data Mining and Analysis参考文献 17被引用 3

一句话总结

本文提出了一种新颖的方法，通过分析服务器日志中的用户访问模式，而非依赖作者设定的链接，来识别网络服务中的局部用户社区。通过将用户访问行为转化为图结构，并应用改进的HITS算法，该方法在在线书店和音频流媒体服务中成功发现了有意义且语义一致的社区，即使在无链接环境中亦然。

ABSTRACT

Community identification algorithms have been used to enhance the quality of the services perceived by its users. Although algorithms for community have a widespread use in the Web, their application to portals or specific subsets of the Web has not been much studied. In this paper, we propose a technique for local community identification that takes into account user access behavior derived from access logs of servers in the Web. The technique takes a departure from the existing community algorithms since it changes the focus of in terest, moving from authors to users. Our approach does not use relations imposed by authors (e.g. hyperlinks in the case of Web pages). It uses information derived from user accesses to a service in order to infer relationships. The communities identified are of great interest to content providers since they can be used to improve quality of their services. We also propose an evaluation methodology for analyzing the results obtained by the algorithm. We present two case studies based on actual data from two services: an online bookstore and an online radio. The case of the online radio is particularly relevant, because it emphasizes the contribution of the proposed algorithm to find out communities in an environment (i.e., streaming media service) without links, that represent the relations imposed by authors (e.g. hyperlinks in the case of Web pages).

研究动机与目标

• 填补传统基于链接的社区检测算法在本地网络服务（如门户网站和专业平台）中失效的空白，这些服务因中心化、非超链接结构而难以适用。
• 克服现有社区检测算法对作者设定链接（如超链接）的依赖，而这些链接在许多现代网络服务中缺失或无关。
• 利用用户访问行为作为隐式关系的代理，识别反映实际用户兴趣和行为的社区。
• 开发一种稳健的评估方法，结合语义相关性和排名相关性，以验证所识别社区的质量。
• 在真实世界中的无链接环境（如在线电台和电子商务平台）中，证明该方法的适用性和有效性。

提出的方法

• 将原始用户访问日志转换为基于图的结构，其中节点代表资源（如书籍、歌曲），边代表用户访问序列或共同访问行为。
• 对HITS（Hyperlink-Induced Topic Search）算法进行改进，以识别访问图中的枢纽和权威节点，将频繁共同访问的资源视为社区指标。
• 应用tf-idf排名方案，基于资源访问频率提取每个识别出社区内的主导主题或话题。
• 使用Spearman等级相关系数计算社区之间的成对距离，支持基于Sammon映射的层次聚类与可视化。
• 采用平均链接的层次聚类方法，根据基于排名主题特征的语义相似性对社区进行分组。
• 通过社区内容的定性分析和语义一致性验证结果，尤其在缺乏显式元数据或链接的情况下。

实验结果

研究问题

• RQ1 仅依靠用户访问模式，是否能有效识别出无作者设定链接的本地网络服务中具有语义一致性的有意义社区？
• RQ2 在中心化、非超链接的网络服务中，所提出的方法与传统基于链接的社区检测算法相比，在识别相关用户社区方面表现如何？
• RQ3 基于tf-idf和等级相关性的评估方法，在多大程度上能准确反映所识别社区的语义一致性和相关性？
• RQ4 在内容类型多样的服务中，如在线书店和音频流媒体平台，社区的结构和语义特征有何差异？
• RQ5 即使缺乏显式元数据或用户标签，该算法是否能检测到具有社会学意义的行为，如区域音乐偏好？

主要发现

• 该方法在在线书店数据集中成功识别出10个独立社区，社区反映了如特定编程语言和计算机科学子领域等一致的兴趣。
• 在音频流媒体数据集中，该算法检测到具有强烈区域和文化聚焦的社区，包括对巴西音乐有明确兴趣的独立群体，尽管国际内容同样可及。
• 在线电台数据集中的社区在Sammon映射中分布更分散，且平均链接距离更高，表明用户兴趣更具多样性与特定性，相较于书店社区。
• 结合tf-idf与Spearman相关性的评估方法有效捕捉了语义一致性，社区主题排名与实际用户行为之间表现出高度相关性。
• 该算法揭示了具有社会意义的模式，如巴西国内音乐消费的强劲趋势，与现实世界中关于音乐盗版和本土产业生存的数据一致。
• 该方法在无链接环境中表现出稳健性，证明在如流媒体服务等资源间无显式关联的场景中依然有效。