[论文解读] Who With Whom And How?: Extracting Large Social Networks Using Search Engines

Stefan Siersdorfer, Philipp Kemkes+2 more|arXiv (Cornell University)|Jan 28, 2017

Web Data Mining and Analysis参考文献 38被引用 5

一句话总结

本文提出了一种可扩展的、基于模式的搜索引擎挖掘方法，用于从非结构化网络数据中提取大规模社交网络。通过使用短语模式（例如 'meets with'、'and his wife'）并采用自举策略迭代扩展实体对和模式集合，该方法实现了高准确率与高效率，在政治与娱乐领域构建密集的、领域特定的社交图谱方面优于基线方法。

ABSTRACT

Social network analysis is leveraged in a variety of applications such as identifying influential entities, detecting communities with special interests, and determining the flow of information and innovations. However, existing approaches for extracting social networks from unstructured Web content do not scale well and are only feasible for small graphs. In this paper, we introduce novel methodologies for query-based search engine mining, enabling efficient extraction of social networks from large amounts of Web data. To this end, we use patterns in phrase queries for retrieving entity connections, and employ a bootstrapping approach for iteratively expanding the pattern set. Our experimental evaluation in different domains demonstrates that our algorithms provide high quality results and allow for scalable and efficient construction of social graphs.

研究动机与目标

• 解决现有社交网络抽取方法在处理大规模非结构化网络数据时面临的可扩展性限制。
• 实现在社交关系隐含且非结构化的网络内容中，高效且准确地构建大规模社交图谱。
• 开发一种基于自举方法的动态扩展实体对与连接短语模式的技术。
• 基于节点流行度与新颖性对搜索查询进行优先级排序，以加速网络构建并提升覆盖范围。
• 分析提取网络的结构与语言特性，以理解领域特定的关系模式。

提出的方法

• 利用实体对与连接短语（例如 'and his wife'、'meets with'）的基于模式的搜索引擎查询，检测网络内容中的社交链接。
• 采用自举机制，基于高置信度连接关系，迭代扩展搜索模式与实体对的集合。
• 通过节点流行度与新颖性度量实施智能查询优先级排序，以减少所需的搜索引擎请求数量。
• 使用互信息（MI）识别模式中的区分性词汇，实现领域特定的模式分析（例如政治与电影领域）。
• 通过聚合搜索引擎查询结果构建社交图谱，并通过人工与自动评估进行验证。
• 集成多语言模式检测（例如 'y'、'et'、'und' 用于表示 'and'），以支持跨语言的网络抽取。

实验结果

研究问题

• RQ1 如何利用搜索引擎从非结构化网络数据中高效提取大规模社交网络？
• RQ2 哪些标准可实现搜索查询的有效优先级排序，以在最小化成本的同时最大化网络覆盖范围与质量？
• RQ3 搜索查询中的语言模式如何反映社交关系的领域特征与本质（例如政治关系与娱乐关系）？
• RQ4 自举方法在多大程度上提升了相对于基线方法的相关社交连接发现能力？
• RQ5 提取的网络中呈现出哪些结构与语言特性，它们与底层社交领域之间存在何种关联？

主要发现

• 所提出的方法在准确率与效率方面显著优于基线方法，实现了大规模社交图谱的可扩展构建。
• 节点流行度与新颖性是有效的查询优先级标准，可在保持高覆盖范围的同时减少所需的搜索引擎请求数量。
• 该方法成功识别出领域特定的模式——例如在政治领域中为 'meets with' 与 'is joined by'，在电影领域中为 'and actress' 或 'is starring alongside'，表明语言模式与社交群体之间存在强相关性。
• 互信息分析表明，'minist'、'presid'、'guard'、'actor'、'star' 与 'husband' 等词汇对分类网络领域具有高度区分性。
• 用于表示 'and' 的多语言模式（如 'y'、'et'、'und'）在跨语言社交网络抽取中表现有效，扩展了该方法的应用范围。
• 提取的网络展现出有意义的结构特性，包括高密度与类社区聚类，反映了现实世界中的社交关系。