[论文解读] BERT Knows Punta Cana is not just Beautiful, it's Gorgeous : Ranking Scalar Adjectives with Contextualised Representations

Aina Garí Soler, Marianna Apidianaki|arXiv (Cornell University)|Jan 1, 2020

Topic Modeling参考文献 46被引用 11

一句话总结

该论文提出了一种基于 BERT 的方法，通过直接从上下文表示中学习强度向量，对程度形容词进行排序，无需依赖外部词典或基于模式的规则，在形容词强度排序任务上取得了最先进（SOTA）的性能。该方法受性别偏见检测技术启发，使用向量运算推导出纯粹的强度方向，其在内在基准测试和间接问答任务上的表现优于静态词嵌入和先前的模型。

ABSTRACT

Adjectives like pretty, beautiful and gorgeous describe positive properties of the nouns they modify but with different intensity. These differences are important for natural language understanding and reasoning. We propose a novel BERT-based approach to intensity detection for scalar adjectives. We model intensity by vectors directly derived from contextualised representations and show they can successfully rank scalar adjectives. We evaluate our models both intrinsically, on gold standard datasets, and on an Indirect Question Answering task. Our results demonstrate that BERT encodes rich knowledge about the semantics of scalar adjectives, and is able to provide better quality intensity rankings than static embeddings and previous models with access to dedicated resources.

研究动机与目标

• 探究 BERT 是否在其上下文表示中编码了关于形容词强度的语义知识。
• 开发一种轻量级方法，仅使用最小监督（如一对形容词）对程度形容词进行排序。
• 评估 BERT 表示在捕捉不同语义尺度（如美丽、温度、大小）上强度关系方面的有效性。
• 将基于 BERT 的强度向量与静态词嵌入以及先前基于模式或词典的模型进行性能比较。
• 分析 BERT 不同层对强度表示的贡献，确定语义知识在何处最有效地被编码。

提出的方法

• 该方法从与特定尺度语义一致的句子中提取形容词的上下文 BERT 表示（例如，'Punta Cana is beautiful' 用于美丽尺度）。
• 通过计算尺度中最强极端形容词表示之间的向量差（例如，'mild' 和 'gorgeous'），推导出一个纯粹的强度方向向量，记为 −−−→dVec。
• 通过将新形容词的 BERT 表示投影到该学习到的强度向量上，估算其强度，从而实现在无需外部资源的情况下的相对排序。
• 该方法受性别偏见检测技术的启发，即从词对（如 she 与 he）中学习嵌入空间中的方向，并在此处应用于强度关系。
• 该方法通过两种变体进行评估：DIFFVEC-1 (+) 使用正向词对（如 'good' 和 'awesome'），DIFFVEC-1 (−) 使用负向词对（如 'bad' 和 'horrible'），前者表现更优。
• 性能在两个层面进行评估：内在地在标准数据集（DEMELO、CROWD、WILKINSON）上，以及外在地在间接问答任务上。

实验结果

研究问题

• RQ1 BERT 上下文表示是否能在不依赖外部资源或模式规则的情况下，可靠地编码程度形容词之间的强度关系？
• RQ2 仅使用一对形容词（如 'good' 和 'awesome'）推导出的强度向量，是否能良好泛化以对同一尺度中的其他形容词进行排序？
• RQ3 在内在和外在任务中，该方法的性能与静态词嵌入以及先前基于模式或词典的模型相比如何？
• RQ4 BERT 的哪一层包含对程度形容词强度排序最相关的语义知识？
• RQ5 为何该方法在正向词对上表现优于负向词对？词频和极性如何影响这一差异？

主要发现

• DIFFVEC-1 (+) 方法（使用一对正向形容词推导强度向量）在所有数据集上均取得最佳性能，优于静态词嵌入和先前模型。
• 该方法在间接问答任务上实现了最先进结果，证明其在下游 NLP 应用中的实际效用。
• BERT 表示编码了丰富的强度知识，性能在高层（尤其是最后四层）达到峰值，表明高层更擅长捕捉细微的语义差异。
• 通过将较弱形容词的表示从较强形容词中减去得到的向量 −−−→dVec，相比结合了语义与强度的原始 BERTSIM 向量，提供了更清晰、更具泛化性的强度表示。
• 使用正向与负向词对性能差异的部分原因在于词频：如 'good' 和 'awesome' 等高频词具有更高质量的表示，而 'bad' 和 'horrible' 等低频反义词则可能解释了 DIFFVEC-1 (+) 表现更优的原因。
• 该方法对句子选择具有鲁棒性，无论句子是精心挑选还是随机采样，性能均保持稳定，表明 BERT 的预训练知识足够强大，可泛化于不同上下文。