[论文解读] ERNIE: Enhanced Representation through Knowledge Integration

Yu Sun, Shuohuan Wang+8 more|arXiv (Cornell University)|Apr 19, 2019

Topic Modeling参考文献 20被引用 767

一句话总结

ERNIE 在实体、短语和基本层面引入知识屏蔽，以丰富预训练语言表示，相较于 BERT 在五个中文 NLP 任务上取得了最先进的结果。

ABSTRACT

We present a novel language representation model enhanced by knowledge called ERNIE (Enhanced Representation through kNowledge IntEgration). Inspired by the masking strategy of BERT, ERNIE is designed to learn language representation enhanced by knowledge masking strategies, which includes entity-level masking and phrase-level masking. Entity-level strategy masks entities which are usually composed of multiple words.Phrase-level strategy masks the whole phrase which is composed of several words standing together as a conceptual unit.Experimental results show that ERNIE outperforms other baseline methods, achieving new state-of-the-art results on five Chinese natural language processing tasks including natural language inference, semantic similarity, named entity recognition, sentiment analysis and question answering. We also demonstrate that ERNIE has more powerful knowledge inference capacity on a cloze test.

研究动机与目标

• 通过在预训练中整合先验知识来推动语言表示的改进。
• 开发一种基于屏蔽的预训练范式，以捕捉实体级和短语级信息。
• 通过在异构数据上进行预训练，展示在中文 NLP 任务上的提升。

提出的方法

• 使用与 BERT 相同的 Transformer 编码器进行基本表示学习。
• 应用三阶段知识屏蔽：基本级、短语级和实体级屏蔽。
• 引入 DLM（Dialogue Language Model）来建模问答对话结构。
• 在异构中文数据（Wikepedia, Baike, Baidu News, Baidu Tieba）上进行预训练并结合对话信号。
• 在五个中文 NLP 任务上进行评估，以评估知识整合的收益。

实验结果

研究问题

• RQ1 在短语级和实体级屏蔽知识是否能超越词级屏蔽来改进语言表示？
• RQ2 DLM 任务对下游表现的贡献是什么？
• RQ3 在异构中文数据上进行预训练时，ERNIE 的表现相对于 BERT 如何？
• RQ4 基于知识的信息化预训练能否有效迁移到多种中文 NLP 任务？

主要发现

Task	Metric	Bert Dev	Bert Test	ERNIE Dev	ERNIE Test	Gain Dev	Gain Test
XNLI	accuracy	78.1	77.2	79.9 (+1.8)	78.4 (+1.2)
LCQMC	accuracy	88.8	87.0	89.7 (+0.9)	87.4 (+0.4)
MSRA-NER	F1	94.0	92.6	95.0 (+1.0)	93.8 (+1.2)
ChnSentiCorp	accuracy	94.6	94.3	95.2 (+0.6)	95.4 (+1.1)
nlpcc-dbqa	MRR	94.7	94.6	95.0 (+0.3)	95.1 (+0.5)
nlpcc-dbqa	F1	80.7	80.8	82.3 (+1.6)	82.7 (+1.9)

• ERNIE 在所研究的全部五个中文 NLP 任务上优于 BERT。
• XNLI、MSRA-NER、ChnSentiCorp 和 NLPCC-DBQA 相对于 BERT 显示超过 1% 的绝对准确率提升。
• 短语级和实体级屏蔽在基本屏蔽之上提供额外的增益。
• DLM 在 XNLI 上为开发/测试准确率带来 0.7–1.0% 的提升。
• 知识屏蔽策略结合异构预训练能够产生更强的语言表示。