[论文解读] A Lexical, Syntactic, and Semantic Perspective for Understanding Style in Text

Gaurav Verma, B. Srinivasan|arXiv (Cornell University)|Sep 18, 2019

Authorship Attribution and Profiling参考文献 64被引用 13

一句话总结

本文提出了一种基于语言学的多层次框架，通过词汇、句法和语义视角分析写作风格，利用可量化的语言直觉，在社交媒体、评论和法律文件等多样化文本领域中，提升作者归属、情绪预测和作者风格分析的性能。

ABSTRACT

With a growing interest in modeling inherent subjectivity in natural language, we present a linguistically-motivated process to understand and analyze the writing style of individuals from three perspectives: lexical, syntactic, and semantic. We discuss the stylistically expressive elements within each of these levels and use existing methods to quantify the linguistic intuitions related to some of these elements. We show that such a multi-level analysis is useful for developing a well-knit understanding of style - which is independent of the natural language task at hand, and also demonstrate its value in solving three downstream tasks: authors' style analysis, authorship attribution, and emotion prediction. We conduct experiments on a variety of datasets, comprising texts from social networking sites, user reviews, legal documents, literary books, and newswire. The results on the aforementioned tasks and datasets illustrate that such a multi-level understanding of style, which has been largely ignored in recent works, models style-related subjectivity in text and can be leveraged to improve performance on multiple downstream tasks both qualitatively and quantitatively.

研究动机与目标

• 开发一种与任务无关的、基于语言学动机的写作风格理解，超越特定任务的假设。
• 识别并量化词汇、句法和语义层面的风格元素，以捕捉风格变异的完整谱系。
• 证明这种多层次风格表征在提升下游NLP任务（如作者归属和情绪预测）性能方面的实用性。
• 提供一种结构化且可解释的风格表征，将风格影响与主题和内容因素解耦。
• 通过将特征建立在既有的心理语言学和计算语言学原理基础上，弥合关于风格的语言学直觉与数据驱动建模之间的鸿沟。

提出的方法

• 将风格元素划分为三个层次：词汇（词汇选择，例如正式与非正式、主观与客观）、句法（句子结构，例如主动与被动、松散句与排比句）和语义（语义层面属性，例如情感、正式程度、礼貌程度）。
• 使用现有的计算方法量化语言学直觉，例如使用词嵌入表示语义特征，使用依存句法分析提取句法模式，使用情感词典衡量词汇主观性。
• 通过整合词汇、句法和语义维度的特征，构建多层次风格表征，形成全面的风格画像。
• 将这些多层次风格特征集成到最先进的作者归属和情绪预测模型中，以评估性能提升。
• 将该框架应用于五位著名的英语作家，通过对其作品在三个层次上的定性和定量分析，揭示风格差异。
• 在包括社交媒体（Facebook、Twitter）、用户评论（IMDb）、法律文件、文学作品和新闻通讯（Reuters）在内的多样化数据集上评估该方法，以确保领域泛化能力。

实验结果

研究问题

• RQ1 如何使用基于语言学的准则，系统性地将写作风格分解为词汇、句法和语义等不同语言层次？
• RQ2 与仅依赖内容或单层次风格基线相比，多层次风格特征在作者归属和情绪预测任务中的性能提升程度如何？
• RQ3 统一且可解释的风格表征能否捕捉社交媒体、法律文本和文学作品等多样化领域中的风格变异？
• RQ4 词汇选择、句子结构和语义情感等风格元素与正式程度、情感化和礼貌程度等心理语言学构念之间存在何种相关性？
• RQ5 在下游NLP任务中，各风格层次（词汇、句法、语义）对整体写作风格建模的相对贡献是什么？

主要发现

• 多层次风格表征通过引入结构化且可解释的风格特征，显著提升了作者归属任务的性能，超越了传统的n-gram和功能词频率方法。
• 引入句法和语义特征（如句子类型：松散句与排比句）以及语义主观性，显著提升了情绪预测性能，尤其在与词汇情感特征结合时效果更明显。
• 该框架成功捕捉了五位著名英语作家之间的风格差异，揭示了他们在词汇选择、句法复杂性和语义基调方面的显著模式。
• 在社交媒体、评论、法律、文学和新闻等多样化领域的实验表明，该多层次方法具有良好的泛化能力，并对主题和体裁变化具有鲁棒性。
• 研究结果表明，风格特征不仅与情感和正式程度相关，还在控制主题和内容后对模型性能产生独立贡献。
• 定量结果表明，所提出的方法在作者归属和情绪预测任务中均优于现有最先进模型，验证了基于语言学的多层次风格分析的价值。