[论文解读] A Methodology to Extract Social Network from the Web Snippet

Mahyuddin K. M. Nasution, Shahrul Azman Mohd Noah|arXiv (Cornell University)|Nov 26, 2012

Web Data Mining and Analysis参考文献 8被引用 6

一句话总结

本文提出了一种半自动的方法，通过基于查询的共现、相似性度量和基于规则的关系检测，从网页片段中提取社交网络。该方法利用关联规则和Jaccard系数等相似性度量，将查询复杂度降低至O(n²)，从而实现从非结构化网络数据中可扩展的、动态的社交网络建模。

ABSTRACT

The Web has been chosen as a basic infrastructure to gain the social structure information, through the social network extraction, from all over the world. However, most of the web documents are unstructured and lack of semantics. Moreover, that network is subject to all kinds of changes and dynamics, and a network can be very complex due to the large number of nodes and links Web contains. In this paper, we discuss a methodology that meant to assists in extracting and modeling the social network from Web snippet. As the manual social network extraction of web documents is impractical and unscalable, and fully automated extraction are still at the very early stage to be implemented, we proposed a (semi)-automatic extraction based on the superficial methods.

研究动机与目标

• 解决从非结构化、语义稀疏的网页文档中提取可扩展且动态的社交网络的挑战。
• 通过最小化冗余搜索引擎查询，降低社交网络提取中的计算和查询负载。
• 开发一种实用的无监督方法，利用表面化的网络内容（如姓名、关键词、URL）进行关系检测。
• 通过共现统计和Jaccard系数等相似性度量，对参与者之间的关系强度进行建模。
• 通过基于规则的推理，利用搜索引擎命中计数和片段分析，检测潜在的社会关系。

提出的方法

• 使用基于规则的方法（规则1）检测参与者对之间的潜在关系，前提是其姓名在网页片段中非零共现。
• 应用搜索引擎查询的单例（|a|）和双例（|a ∩ b|）命中计数，以估计关系强度。
• 采用相似性度量如Jaccard系数：sim(t_a, t_b) = |a ∩ b| / (|a| + |b| - |a ∩ b|)，以量化关系强度。
• 通过引入领域特定关键词，提出关键词强度关系（SRwK），以减少共现偏差。
• 利用URL结构推断潜在的关系强度（USR），将URL标记和域名视为关系强度的指示器。
• 通过基于规则的过滤，消除冗余查询，将总查询次数减少至≤ n(n-1)/2（n个参与者）。

实验结果

研究问题

• RQ1 如何在最小依赖语义标注的情况下，从非结构化的网页片段中提取社交网络关系？
• RQ2 在大规模社交网络提取中，查询效率与关系准确性的最佳平衡是什么？
• RQ3 如何利用共现统计（单例、双例）推断参与者之间的有意义的关系强度？
• RQ4 URL结构和关键词增强在多大程度上能提高检测关系的可靠性？
• RQ5 何种基于规则的策略可最小化查询负载，同时保持社交网络提取的可扩展性？

主要发现

• 所提出的方法将所需查询数量减少至≤ n(n-1)/2（n个参与者），显著提升了可扩展性。
• 规则1通过验证参与者姓名在搜索结果中非零共现，成功检测出参与者对之间的潜在关系。
• 在单例和双例命中计数上使用Jaccard相似性，实现了关系强度的可量化估计。
• 引入关键词（SRwK）通过过滤无关命中，减少了基于共现的关系估计偏差。
• 基于URL的分析（USR）为潜在关系强度提供了额外证据，支持多源验证。
• 该方法支持从网页片段中进行动态、无监督的社交网络建模，无需预标注数据或复杂的自然语言处理流水线。