[论文解读] Characterizing English Variation across Social Media Communities with BERT

Li Lucy, David Bamman|arXiv (Cornell University)|Feb 12, 2021

Digital Communication and Language参考文献 74被引用 4

一句话总结

本文提出一种基于 BERT 的方法，用于检测 474 个 Reddit 社群中英语语言使用的词汇和语义变异，结果表明，语言特征高度独特的社群——尤其是词义方面——通常为中等规模，其用户忠诚度高、参与度强，并形成紧密的互动网络。该方法通过结合词类特异性与语义层级嵌入来识别社群特有的语言，研究结果通过用户创建的术语表和语言社会学理论得到验证。

ABSTRACT

Much previous work characterizing language variation across Internet social groups has focused on the types of words used by these groups. We extend this type of study by employing BERT to characterize variation in the senses of words as well, analyzing two months of English comments in 474 Reddit communities. The specificity of different sense clusters to a community, combined with the specificity of a community's unique word types, is used to identify cases where a social group's language deviates from the norm. We validate our metrics using user-created glossaries and draw on sociolinguistic theories to connect language variation with trends in community behavior. We find that communities with highly distinctive language are medium-sized, and their loyal and highly engaged users interact in dense networks.

研究动机与目标

• 开发一种计算方法，用于测量在线社群中的语言变异，超越单纯的词频分析。
• 探究词义（而不仅仅是词类）在社交媒体社群中的变异情况。
• 通过用户创建的术语表和语言社会学理论验证所提出的度量指标。
• 探索用户行为、网络结构与社群特异性语言使用之间的关系。
• 确定话题讨论内容或用户层面属性中，哪一个更能预测语言的独特性。

提出的方法

• 作者使用 BERT 提取 474 个 Reddit 社群中词汇的上下文嵌入，以捕捉其在上下文中的不同词义。
• 基于词类频率与 BERT 嵌入空间中的语义聚类，计算社群特异性得分（F）。
• 通过 t-SNE 可视化与 k-means 聚类方法，识别目标词汇（如 'python'）的语义簇。
• 将基于 BERT 的语义变异与传统词类特异性度量（如先前研究中的 PMI 基特异性）进行比较。
• 使用 OLS 回归模型检验用户层面属性（如活跃度、网络密度）以及话题类别对语言独特性（F 得分）的影响。
• 利用来自 57 个 Reddit 社群的用户创建术语表，验证 BERT 识别的语义簇是否与社群定义的术语一致。

实验结果

研究问题

• RQ1 不同在线社群中的词义如何变化？BERT 是否能有效捕捉这些变化？
• RQ2 用户行为与网络结构在多大程度上能预测在线社群中的语言独特性？
• RQ3 话题相关特征（如科技、电子游戏、爱好）对语言变异的影响是否强于用户层面属性？
• RQ4 BERT 识别的语义簇与社群定义的术语表在多大程度上一致？
• RQ5 语言高度独特的社群是否更可能为中等规模且拥有紧密、忠诚的用户网络？

主要发现

• 语言独特性最高（F 得分）的社群为中等规模，而非最大或最小。
• 在语言特征独特的社群中，高度参与且忠诚的用户更为普遍，且形成紧密的互动网络。
• 在控制用户行为后，网络密度对语言变异具有负向影响，表明其早期呈现的正向边际效应可能受到共线特征的混淆。
• 话题相关特征（如科技、电子游戏、爱好）与更高的语言独特性相关，但用户行为仍是更强的预测因子。
• F 得分（结合词类与语义特异性）与用户创建的术语表高度一致，验证了该方法检测社群特异性术语的能力。
• BERT 嵌入能够成功分离多义词的不同含义（如 'python' 作为编程语言与航天器），在不同社群中于嵌入空间形成明显分离的簇。