[논문 리뷰] ERNIE: Enhanced Representation through Knowledge Integration

Yu Sun, Shuohuan Wang외 8명|arXiv (Cornell University)|2019. 04. 19.

Topic Modeling참고 문헌 20인용 수 767

한 줄 요약

ERNIE는 사전 학습에 선행 지식을 통합하여 엔티티, 구, 및 기본 수준의 지식 마스킹을 도입함으로써 사전 학습된 언어 표현을 풍부하게 하고, BERT에 비해 다섯 가지 중국어 NLP 태스크에서 최첨단 성과를 달성한다.

ABSTRACT

We present a novel language representation model enhanced by knowledge called ERNIE (Enhanced Representation through kNowledge IntEgration). Inspired by the masking strategy of BERT, ERNIE is designed to learn language representation enhanced by knowledge masking strategies, which includes entity-level masking and phrase-level masking. Entity-level strategy masks entities which are usually composed of multiple words.Phrase-level strategy masks the whole phrase which is composed of several words standing together as a conceptual unit.Experimental results show that ERNIE outperforms other baseline methods, achieving new state-of-the-art results on five Chinese natural language processing tasks including natural language inference, semantic similarity, named entity recognition, sentiment analysis and question answering. We also demonstrate that ERNIE has more powerful knowledge inference capacity on a cloze test.

연구 동기 및 목표

• 사전 학습에 선행 지식을 통합하여 언어 표현력을 향상시키려는 동기를 제시한다.
• 엔티티 및 구 수준의 정보를 포착하는 마스킹 기반 사전 학습 패러다임을 개발한다.
• 이질적인 데이터로 사전 학습하여 중국어 NLP 태스크에서 향상을 입증한다.

제안 방법

• 기본 표현 학습을 위해 BERT와 같이 Transformer 인코더를 사용한다.
• 기본 수준, 구 수준, 엔티티 수준의 지식 마스킹을 3단계로 적용한다.
• 쿼리-응답 대화 구조를 모델링하기 위해 DLM (Dialogue Language Model)을 도입한다.
• 이질적인 중국어 데이터(Wikepedia, Baike, Baidu News, Baidu Tieba)로 사전 학습하고 대화 신호를 통합한다.
• 지식 통합의 이점을 평가하기 위해 다섯 가지 중국어 NLP 태스크에서 평가한다.

실험 결과

연구 질문

• RQ1 구 수준 및 엔티티 수준의 지식 마스킹이 단어 수준 마스킹을 넘어 언어 표현을 개선하는가?
• RQ2 DLM 태스크가 다운스트림 성능에 기여하는 바는 무엇인가?
• RQ3 이질적인 중국어 데이터로 사전 학습될 때 ERNIE의 성능은 BERT에 비해 어떠한가?
• RQ4 지식 기반의 사전 학습이 여러 중국어 NLP 태스크에 효과적으로 전이될 수 있는가?

주요 결과

Task	Metric	Bert Dev	Bert Test	ERNIE Dev	ERNIE Test	Gain Dev	Gain Test
XNLI	accuracy	78.1	77.2	79.9 (+1.8)	78.4 (+1.2)
LCQMC	accuracy	88.8	87.0	89.7 (+0.9)	87.4 (+0.4)
MSRA-NER	F1	94.0	92.6	95.0 (+1.0)	93.8 (+1.2)
ChnSentiCorp	accuracy	94.6	94.3	95.2 (+0.6)	95.4 (+1.1)
nlpcc-dbqa	MRR	94.7	94.6	95.0 (+0.3)	95.1 (+0.5)
nlpcc-dbqa	F1	80.7	80.8	82.3 (+1.6)	82.7 (+1.9)

• ERNIE는 연구된 다섯 가지 중국어 NLP 태스크에서 모두 BERT를 능가한다.
• XNLI, MSRA-NER, ChnSentiCorp, and NLPCC-DBQA에서 BERT에 비해 절대 정확도 1% 이상 향상을 보인다.
• 구 수준 및 엔티티 수준 마스킹이 기본 마스킹을 넘어 추가 이득을 제공한다.
• DLM은 XNLI에서 개발/테스트 정확도 0.7–1.0% 개선에 기여한다.
• 지식 마스킹 전략과 이질적 사전 학습의 결합이 더 강한 언어 표현을 만들어낸다.