[论文解读] A Lightweight Regression Method to Infer Psycholinguistic Properties for Brazilian Portuguese

Leandro Borges dos Santos, Magali Sanches Duran+4 more|arXiv (Cornell University)|May 19, 2017

Text Readability and Simplification参考文献 8被引用 4

一句话总结

本文提出一种轻量级回归方法，仅使用少量广泛可用的特征——词长、词频列表、学校词典数据和词嵌入——来推断巴西葡萄牙语的语义心理学属性（具体性、习得年龄、意象性及主观频率）。该方法取得与先前研究相当的皮尔逊相关系数，生成了一个包含26,874个词的免费词典，其中标注了四种关键的心理语言学属性。

ABSTRACT

Psycholinguistic properties of words have been used in various approaches to Natural Language Processing tasks, such as text simplification and readability assessment. Most of these properties are subjective, involving costly and time-consuming surveys to be gathered. Recent approaches use the limited datasets of psycholinguistic properties to extend them automatically to large lexicons. However, some of the resources used by such approaches are not available to most languages. This study presents a method to infer psycholinguistic properties for Brazilian Portuguese (BP) using regressors built with a light set of features usually available for less resourced languages: word length, frequency lists, lexical databases composed of school dictionaries and word embedding models. The correlations between the properties inferred are close to those obtained by related works. The resulting resource contains 26,874 words in BP annotated with concreteness, age of acquisition, imageability and subjective frequency.

研究动机与目标

• 解决巴西葡萄牙语在该领域缺乏心理语言学资源的问题，因其属于低资源语言。
• 克服通过人工调查收集心理语言学数据所需高昂成本与长时间投入的难题。
• 开发一种可扩展的方法，仅使用基本且易获取的语言特征来推断心理语言学属性。
• 创建一个公开可用的、大规模的巴西葡萄牙语词典，其中标注了具体性、习得年龄、意象性及主观频率。

提出的方法

• 利用词长、词频列表以及学校词典中的词汇数据组合训练回归模型。
• 引入预训练的词嵌入模型，以捕捉词语的语义和分布表示。
• 使用多种回归模型，基于特征集预测每种心理语言学属性（具体性、习得年龄、意象性、频率）。
• 利用现有的小规模心理语言学数据集作为训练数据，校准回归模型。
• 将训练好的模型应用于大规模巴西葡萄牙语词汇表，实现属性的规模化推断。
• 通过比较推断属性与人工标注数据之间的相关性，验证其可靠性。

实验结果

研究问题

• RQ1 能否仅使用轻量级、易获取的语言特征，准确推断巴西葡萄牙语的心理语言学属性？
• RQ2 推断属性与人工标注数据之间的相关性，与其它语言相关研究中的结果相比如何？
• RQ3 在低资源环境下，词嵌入和词频数据在多大程度上能提升心理语言学属性预测的准确性？
• RQ4 包含26,874个词的最终词典是否足够可靠，可用于文本简化与可读性评估等下游自然语言处理任务？

主要发现

• 推断出的心理语言学属性与人工标注数据的相关性水平，与其它语言相关研究中报告的结果相当。
• 该方法成功仅使用基本语言特征，便将心理语言学标注扩展至26,874个巴西葡萄牙语词汇的大型词典。
• 词嵌入和词频数据显著提升了回归模型的预测性能。
• 所生成的资源公开可用，适用于文本简化与可读性评估等自然语言处理任务。
• 该方法在大规模人工标注不可行的低资源语言中展现出可行性。
• 推断属性与标准数据之间的相关性表明，该方法具有高度的可靠性和有效性。