[论文解读] Classifying Idiomatic and Literal Expressions Using Topic Models and Intensity of Emotions

Jing Peng, Anna Feldman+1 more|arXiv (Cornell University)|Feb 27, 2018

Natural Language Processing Techniques参考文献 11被引用 9

一句话总结

本文提出一种方法，利用主题模型（LDA）和情感强度特征来分类习语和字面表达。通过将习语视为局部主题上下文中的语义异常值，并结合情感语言中的唤醒水平，该模型在小但具代表性的数据集上，超越基线词袋模型和先前方法，显著提升了分类准确率。

ABSTRACT

We describe an algorithm for automatic classification of idiomatic and literal expressions. Our starting point is that words in a given text segment, such as a paragraph, that are highranking representatives of a common topic of discussion are less likely to be a part of an idiomatic expression. Our additional hypothesis is that contexts in which idioms occur, typically, are more affective and therefore, we incorporate a simple analysis of the intensity of the emotions expressed by the contexts. We investigate the bag of words topic representation of one to three paragraphs containing an expression that should be classified as idiomatic or literal (a target phrase). We extract topics from paragraphs containing idioms and from paragraphs containing literals using an unsupervised clustering method, Latent Dirichlet Allocation (LDA) (Blei et al., 2003). Since idiomatic expressions exhibit the property of non-compositionality, we assume that they usually present different semantics than the words used in the local topic. We treat idioms as semantic outliers, and the identification of a semantic shift as outlier detection. Thus, this topic representation allows us to differentiate idioms from literals using local semantic contexts. Our results are encouraging.

研究动机与目标

• 开发一种自动方法，以区分上下文中的习语与字面表达。
• 探究是否可通过周围文本的主题建模检测习语（作为非组合性语义异常值）。
• 评估整合情感强度（尤其是唤醒度）对分类性能的影响。
• 通过利用局部语义上下文，改进仅依赖词汇或句法模式的现有方法。
• 解决习语用法模糊性问题，即同一短语在不同上下文中可为字面或隐喻用法。

提出的方法

• 该方法使用潜在狄利克雷分布（LDA）从包含目标短语的一至三段文本中提取主题表征。
• 通过测量其与主导局部主题的偏离程度（基于主题-词概率），将习语视为语义异常值。
• 利用情感分析从周围上下文中提取简单的唤醒度特征，以捕捉情感强度。
• 将主题表征与唤醒度特征结合，以分类短语是习语还是字面表达。
• 训练一个分类器（隐含为有监督模型），基于组合的主题与情感特征，区分习语与字面用法。
• 在短语被标注为习语或字面表达的数据集上评估该方法，性能与基线词袋模型及先前方法进行对比。

实验结果

研究问题

• RQ1 通过检测语义异常值，局部文本主题建模能否有效区分习语与字面表达？
• RQ2 整合情感强度（尤其是唤醒度）是否能提升习语分类性能？
• RQ3 上下文长度（1段 vs. 3段）如何影响基于主题的习语检测性能？
• RQ4 该方法在分类习语与字面用法方面，相较于基线模型和先前方法，优势有多大？
• RQ5 误报与漏报的主要原因是什么？情感整合在解决这些问题方面有何作用？

主要发现

• 所提方法在分类习语与字面表达方面显著优于基线词袋模型。
• 整合情感强度（尤其是唤醒度）可提升分类性能，尤其在减少误报与漏报方面效果明显。
• 使用三段上下文的性能优于单段上下文，因为更长的上下文能提供更稳定的主题建模。
• 该模型通过在LDA空间中检测习语相对于主导局部主题的偏离，成功识别出习语作为语义异常值。
• 该方法优于Feldman和Peng（2013）提出的方法，后者在相同数据集上报告的平均准确率为80%，表明本方法性能更优。
• 定性分析证实，情感特征有助于正确分类模糊案例（如'blow the whistle'），通过捕捉情感上下文实现。