[论文解读] IBERT: Idiom Cloze-style reading comprehension with Attention

Ruiyang Qin, Haozheng Luo+2 more|arXiv (Cornell University)|Nov 5, 2021

Natural Language Processing Techniques被引用 5

一句话总结

本文提出 IBERT，一种基于 BERT 的序列到序列模型，通过联合建模局部和全局上下文（使用 XLNet 进行编码，RoBERTa 进行解码），增强了习语填空式阅读理解能力。在 EPIE Static Corpus 上，IBERT 的表现优于先前的最先进方法，通过注意力增强的上下文建模，显著提升了对非组合性习语含义的理解。

ABSTRACT

Idioms are special fixed phrases usually derived from stories. They are commonly used in casual conversations and literary writings. Their meanings are usually highly non-compositional. The idiom cloze task is a challenge problem in Natural Language Processing (NLP) research problem. Previous approaches to this task are built on sequence-to-sequence (Seq2Seq) models and achieved reasonably well performance on existing datasets. However, they fall short in understanding the highly non-compositional meaning of idiomatic expressions. They also do not consider both the local and global context at the same time. In this paper, we proposed a BERT-based embedding Seq2Seq model that encodes idiomatic expressions and considers them in both global and local context. Our model uses XLNET as the encoder and RoBERTa for choosing the most probable idiom for a given context. Experiments on the EPIE Static Corpus dataset show that our model performs better than existing state-of-the-arts.

研究动机与目标

• 为解决习语填空式阅读理解中的挑战，即习语具有高度非组合性的含义。
• 改进习语预测任务中对局部和全局上下文的建模。
• 克服先前序列到序列模型无法捕捉习语非组合性本质的局限性。
• 开发一种基于 BERT 的架构，整合上下文编码与解码，以提升对习语的理解。
• 在 EPIE Static Corpus 数据集上，实现习语填空任务的最先进性能。

提出的方法

• 该模型使用 XLNet 作为编码器，以捕捉输入文本的长距离依赖关系和上下文表征。
• 采用 RoBERTa 作为解码器，基于编码的上下文预测最可能的习语。
• 该架构应用多头自注意力机制，以增强对局部和全局上下文的建模能力。
• 模型在 EPIE Static Corpus 上进行端到端微调，用于习语填空式阅读理解。
• 在编码器和解码器中均应用注意力机制，以改善上下文与习语候选之间的对齐。
• 该框架整合了来自 BERT 基础模型的预训练语言表征，以捕捉语义和句法模式。

实验结果

研究问题

• RQ1 基于 BERT 的模型若结合局部与全局上下文的联合建模，能否提升习语填空的表现？
• RQ2 注意力增强的编码与解码如何影响对非组合性习语表达的预测？
• RQ3 在序列到序列框架中结合 XLNet 和 RoBERTa 是否能超越现有序列到序列模型在习语填空任务上的表现？
• RQ4 预训练模型中的上下文表征在多大程度上能提升对非组合性含义习语的理解？
• RQ5 该模型在保持高准确率的前提下，能否对未见过的习语实现良好泛化？

主要发现

• IBERT 在 EPIE Static Corpus 上的表现优于现有最先进模型。
• 将 XLNet 用于编码、RoBERTa 用于解码的整合显著提升了习语预测的准确性。
• 注意力机制有效捕捉了习语填空任务中局部和全局上下文之间的依赖关系。
• 通过上下文表征学习，模型显著提升了对非组合性习语含义的理解。
• 结果证实，对局部与全局上下文的联合建模能有效提升习语填空式阅读理解的性能。
• 该模型优于先前的序列到序列方法，后者未能充分建模上下文或习语语义。