[论文解读] Event Representation Learning Enhanced with External Commonsense Knowledge

Xiao Ding, Kuo Liao+3 more|arXiv (Cornell University)|Sep 9, 2019

Stock Market Forecasting Methods参考文献 26被引用 5

一句话总结

该论文提出了一种联合嵌入模型，通过使用神经张量网络引入外部常识知识（意图和情感），以增强事件表征。通过在共享向量空间中联合学习事件、意图和情感嵌入，该模型在事件相似性（硬样本上提升78%）、脚本事件预测和股票市场波动率预测任务上均达到最先进性能，证明了心理状态知识在细粒度事件理解中的价值。

ABSTRACT

Prior work has proposed effective methods to learn event representations that can capture syntactic and semantic information over text corpus, demonstrating their effectiveness for downstream tasks such as script event prediction. On the other hand, events extracted from raw texts lacks of commonsense knowledge, such as the intents and emotions of the event participants, which are useful for distinguishing event pairs when there are only subtle differences in their surface realizations. To address this issue, this paper proposes to leverage external commonsense knowledge about the intent and sentiment of the event. Experiments on three event-related tasks, i.e., event similarity, script event prediction and stock market prediction, show that our model obtains much better event embeddings for the tasks, achieving 78% improvements on hard similarity task, yielding more precise inferences on subsequent events under given contexts, and better accuracies in predicting the volatilities of the stock market.

研究动机与目标

• 为解决现有事件表征模型在高词汇重叠情况下仍难以区分细微语义差异的局限性。
• 将外部常识知识——特别是事件参与者意图和情感——融入事件表征学习。
• 通过更丰富、更细粒度的事件嵌入，提升下游自然语言处理任务（如事件相似性、脚本事件预测和股票市场预测）的性能。
• 证明心理状态信息（意图和情绪）显著增强事件嵌入的判别能力。

提出的方法

• 使用神经张量网络（NTN）从主语-谓语-宾语三元组中学习基线事件嵌入。
• 提出一种联合嵌入框架，将事件、意图和情感映射到共享向量空间。
• 定义一种新型损失函数，在训练过程中引入意图和情感监督，以指导事件表征学习。
• 通过负采样在训练过程中对事件三元组和意图-情感对进行扰动，以提升泛化能力。
• 利用外部知识库（如Event2Mind和ATOMIC）获取标注的意图和情感标签用于训练。
• 采用对比学习与张量组合相结合的方式，端到端训练模型，以捕捉语义交互。

实验结果

研究问题

• RQ1 将意图和情感的常识知识融入是否能提升事件嵌入的判别能力？
• RQ2 在词汇重叠度高但语义存在差异的事件相似性任务中，外部心理状态知识如何影响性能？
• RQ3 意图和情感增强的事件表征在多大程度上提升了脚本事件预测和股票市场波动率预测的性能？
• RQ4 事件、意图和情感的联合学习是否比仅依赖表面文本特征的模型具有更好的泛化能力？

主要发现

• 所提模型在硬样本相似性任务上实现78%的性能提升，显著优于基线模型。
• 在大规模相似性数据集上，模型实现200%的性能提升，表明其在细粒度语义区分上具有强大的泛化能力。
• 模型通过提升上下文相关后续事件的精确推理能力，改善了脚本事件预测性能。
• 在股票市场预测任务中，情感知识的引入使准确率相比基线方法提升2.4个百分点。
• 结合意图和情感监督的联合嵌入框架在所有三项下游任务中均持续优于最先进基线模型。
• 结果证实，关于参与者心理状态的常识知识对于学习高质量、判别性强的事件表征至关重要。