[论文解读] Modeling Global Syntactic Variation in English Using Dialect Classification

Jonathan Dunn|arXiv (Cornell University)|Apr 11, 2019

Linguistic Variation and Morphology被引用 4

一句话总结

本文提出一种基于数据驱动与语法归纳的方法，用于建模14种英语国家变体的全局句法差异，通过方言分类识别特定地区的句法偏好。结果表明，动态句法特征空间可在网页和社交媒体语料中实现稳健的方言分类，尽管整体准确率较低，句法模型仍表现出比词汇基线更强的语言特异性。

ABSTRACT

This paper evaluates global-scale dialect identification for 14 national varieties of English as a means for studying syntactic variation. The paper makes three main contributions: (i) introducing data-driven language mapping as a method for selecting the inventory of national varieties to include in the task; (ii) producing a large and dynamic set of syntactic features using grammar induction rather than focusing on a few hand-selected features such as function words; and( iii) comparing models across both web corpora and social media corpora in order to measure the robustness of syntactic variation across registers.

研究动机与目标

• 开发一种可扩展、基于数据的方法，用于为句法差异建模选择英语国家变体，避免人为划定的区域边界。
• 通过语法归纳生成一个动态且可复现的句法特征集，超越依赖于功能词等预设语言特征的方法。
• 评估句法模型在不同文本语域（网页与社交媒体）中的鲁棒性，并检验其对少数预测特征的过度依赖程度。
• 解决对非核心圈方言（特征密度较低）建模的挑战，特别是那些语法结构代表性不足的方言。

提出的方法

• 对网页和Twitter数据应用基于数据的语言映射，识别出在不同地区中一致使用的英语国家变体，确保涵盖地理和语言学上具有代表性的区域。
• 在大型背景语料上应用语法归纳，自动提取一个动态且全面的句法特征集，避免依赖预定义的语言学特征。
• 训练一个文本分类模型（遵循Joachims, 1998）以基于句法特征预测国家变体归属，并通过方言识别作为辅助任务进行优化。
• 在两个不同语料上比较模型性能——网页爬取语料（Common Crawl）与社交媒体语料（Twitter），以评估语域特定的鲁棒性。
• 采用去掩蔽技术（一种作者识别中的元分类技术），通过100轮迭代逐步移除最具预测性的特征，并评估模型稳定性。
• 以F1分数为主要指标，跟踪去掩蔽过程中的性能退化情况，从而实现句法模型与词汇模型之间的比较。

实验结果

研究问题

• RQ1 如何系统性地选择英语国家变体以构建全球规模的句法差异模型，避免人为划定的区域边界？
• RQ2 语法归纳在多大程度上能够生成一个动态且全面的句法特征空间，以捕捉多样化国家变体之间的差异？
• RQ3 句法模型在不同文本语域（如网页语料与社交媒体）中的鲁棒性如何？
• RQ4 这些模型对少数高度预测性句法特征的依赖程度如何？在特征剪枝下性能是否稳定？
• RQ5 为何外圈变体（如印度英语与菲律宾英语）尽管句法特征密度较低，却表现出更高的分类准确率？

主要发现

• 基于数据的语言映射方法成功识别出14种英语国家变体，适用于全球句法建模，涵盖核心圈、外圈与扩展圈变体。
• 句法模型在Common Crawl语料上F1得分为0.78，在Twitter数据上为0.75，表明仅依靠句法特征即可实现稳健的方言分类，尽管性能低于词汇基线。
• 去掩蔽实验显示，句法模型在特征剪枝下性能退化速度比词汇基线（unigram）更快，表明其更依赖于少数关键预测特征。
• 在去掩蔽过程中，网页语料模型的性能退化慢于Twitter模型，表明正式、领域通用的文本更具鲁棒性，相较于非正式社交媒体文本。
• 外圈变体如巴基斯坦英语与菲律宾英语的F1得分更高（例如0.85与0.83），高于核心圈变体，表明非标准句法模式对分类更具区分性。
• 尽管准确率较高，外圈变体中句法模型的特征密度较低，表明语法归纳过程仍未能充分建模关键句法结构。