[论文解读] Conversational Negation using Worldly Context in Compositional Distributional Semantics

Benjamin Rodatz, Razin A. Shaikh+1 more|arXiv (Cornell University)|May 12, 2021

Topic Modeling参考文献 28被引用 4

一句话总结

本文提出了一种新颖的组合分布语义学中的会话否定框架，通过整合世界知识（先验知识）与逻辑否定操作，实现对否定的语义建模。该框架引入了一种基于矩阵求逆的否定方法，并证明将减法否定（$ eg_{sub}$）与词的基空间中的相位器（phaser）结合，能与人类对语义合理性的评分达到最高的相关性（0.635），显著优于纯粹的逻辑否定方法。

ABSTRACT

We propose a framework to model an operational conversational negation by applying worldly context (prior knowledge) to logical negation in compositional distributional semantics. Given a word, our framework can create its negation that is similar to how humans perceive negation. The framework corrects logical negation to weight meanings closer in the entailment hierarchy more than meanings further apart. The proposed framework is flexible to accommodate different choices of logical negations, compositions, and worldly context generation. In particular, we propose and motivate a new logical negation using matrix inverse. We validate the sensibility of our conversational negation framework by performing experiments, leveraging density matrices to encode graded entailment information. We conclude that the combination of subtraction negation and phaser in the basis of the negated word yields the highest Pearson correlation of 0.635 with human ratings.

研究动机与目标

• 为解决纯粹逻辑否定在分布语义学中的局限性，即无法捕捉人类对否定的直觉认知。
• 将会话否定建模为一种反映人类合理判断的操作过程，而不仅仅是逻辑上的否定。
• 将来自词语关系与蕴含层级的世界知识整合进否定过程，以提升语义合理性的建模效果。
• 利用人类评分的合理度数据与分级蕴含的密度矩阵表示，对框架进行验证。
• 建立一个模块化、可扩展的框架，与DisCoCirc兼容，便于未来扩展至句子与文本层面。

提出的方法

• 提出一种基于矩阵求逆的新逻辑否定操作，其动机在于该方法能保持向量空间中的结构关系。
• 提出一种基于WordNet上位词与密度矩阵蕴含关系的世界知识生成方法，使用上下文函数如$\texttt{poly}_x(i)$、$\texttt{exp}_x(i)$与$\texttt{hyp}_x(i)$。
• 在被否定词的基空间中应用相位器操作，根据蕴含距离对上下文进行加权，以增强合理性的建模能力。
• 使用迹相似性与基于蕴含的度量（$k_{\textsf{E}}$、$k_{\textsf{hyp}}$）来评估否定语义的合理性，与人类评分进行对比。
• 采用密度矩阵编码分级蕴含信息，实现对语义相似性与层级关系的精细建模。
• 利用人类合理度评分数据集对框架进行验证，比较不同否定类型、组合方式、基空间与上下文函数的组合效果。

实验结果

研究问题

• RQ1 世界知识能否提升分布语义学中逻辑否定后词语意义的合理性？
• RQ2 哪种逻辑否定、组合方法与上下文函数的组合能与人类合理度判断达到最高的相关性？
• RQ3 基于矩阵求逆的否定方法是否优于或可补充现有的逻辑否定方法（如单位矩阵相减）？
• RQ4 基空间的选择（如词基空间与其他基空间）如何影响会话否定的性能？
• RQ5 结合上位词距离与蕴含强度的上下文函数，能否更好地建模人类在否定中对替代项的选择行为？

主要发现

• 减法否定（$ eg_{\text{sub}}$）与被否定词基空间中的相位器结合，实现了与人类合理度评分最高的皮尔逊相关性（0.635）。
• 三种上下文函数——多项式、指数与基于上位词的——均达到相同的最大相关性（0.635），表明其对函数形式不敏感，具有鲁棒性。
• 包含WordNet上位词距离的上下文函数$ \texttt{hyp}_x(i)$在$x=0$时仍表现良好（相关性0.581），表明基于蕴含的上下文具有显著价值。
• 迹相似性与蕴含度量$k_{\textsf{E2}}$与会话否定的交互作用最强，分别达到0.635与0.602的相关性。
• 从原词到被否定意义（$w_N$）的蕴含方向优于反向，表明应将$w_N$视为$w_A$的替代项。
• 该框架表明，仅靠逻辑否定是不够的；世界知识在生成符合人类直觉的否定结果中至关重要。