[논문 리뷰] ERNIE: Enhanced Language Representation with Informative Entities

Zhengyan Zhang, Xu Han외 4명|arXiv (Cornell University)|2019. 05. 17.

Topic Modeling참고 문헌 54인용 수 133

한 줄 요약

ERNIE는 지식 그래프의 정보 엔티티 임베딩을 전용 지식 모듈과 노이즈 제거 엔티티 자동 인코더를 통해 통합하여 텍스트 기반 지식 중심 작업의 성능을 향상시키고 일반 NLP 작업에서도 경쟁력을 유지합니다.

ABSTRACT

Neural language representation models such as BERT pre-trained on large-scale corpora can well capture rich semantic patterns from plain text, and be fine-tuned to consistently improve the performance of various NLP tasks. However, the existing pre-trained language models rarely consider incorporating knowledge graphs (KGs), which can provide rich structured knowledge facts for better language understanding. We argue that informative entities in KGs can enhance language representation with external knowledge. In this paper, we utilize both large-scale textual corpora and KGs to train an enhanced language representation model (ERNIE), which can take full advantage of lexical, syntactic, and knowledge information simultaneously. The experimental results have demonstrated that ERNIE achieves significant improvements on various knowledge-driven tasks, and meanwhile is comparable with the state-of-the-art model BERT on other common NLP tasks. The source code of this paper can be obtained from https://github.com/thunlp/ERNIE.

연구 동기 및 목표

• 지식 그래프에서 외부 지식을 통합하여 일반 텍스트를 넘는 언어 이해를 향상시키려는 동기 부여.
• 텍스트 정보와 지식 정보를 융합하는 두 모듈 아키텍처를 설계하여 더 풍부한 표현을 제공.
• 텍스트와 KG 엔티티를 정렬하기 위해 denoising entity auto-encoder(dEA) 사전 학습 과제를 제안.
• 엔티티 타입 지정 및 관계 분류와 같은 지식 주도 작업에서의 개선을 보여주고 표준 NLP 벤치마크에서도 경쟁력을 유지합니다.

제안 방법

• 두 개의 중첩 모듈: 토큰 정보를 포착하는 텍스트 인코더(T-Encoder)와 지식 정보를 융합하는 지식 인코더(K-Encoder).
• 엔티티 표현은 TransE로 사전 학습되며 NER 및 KG 엔티티와의 정렬을 통해 텍스트와 맞추어 정렬됩니다.
• 새로운 사전 학습 목표(dEA)는 토큰-엔티티 정렬을 무작위로 마스킹하고 KG 임베딩에서 올바른 엔티티를 예측하도록 모델을 학습합니다.
• BERT의 MLM 및 NSP 목표를 유지하여 어휘 및 구문 정보를 포착합니다.
• 각 K-Encoder 집합체 내 정보 융합 계층은 학습된 변환을 통해 토큰 임베딩과 엔티티 임베딩을 결합합니다.
• 태스크별 입력 형식을 사용한 미세조정은 관게 분류를 위해 엔티티 언급을 강조하는 토큰 표식을 포함합니다.

실험 결과

연구 질문

• RQ1 KG에서 파생된 정보 엔티티를 도입하면 지식 주도 NLP 작업의 성능이 향상되는가?
• RQ2 전용 지식 융합 메커니즘과 dEA 사전 학습이 텍스트만 학습보다 텍스트와 엔티티 정보를 더 잘 정렬하는가?
• RQ3 ERNIE는 엔티티 타입 지정과 관계 분류에서 BERT 및 작업별 베이스라인과 비교하여 어떤 성능을 보이는가?
• RQ4 GLUE와 같은 표준 NLP 벤치마크에서 ERNIE의 영향은 어떤가?

주요 결과

• ERNIE는 엔티티 타입 지정 및 관계 분류 작업(FewRel/TACRED 등)에서 BERT보다 상당히 우수한 성능을 보이며 정보 엔티티의 이점이 입증된다.
• Open Entity에서 ERNIE는 KG 지식을 활용한 타입 지정에서 정밀도와 재현율을 향상시킨다.
• ERNIE는 FewRel에서 BERT보다 더 높은 F1을 달성하고 TACRED에서 미시 평균 지표로 BERT를 능가한다.
• GLUE 결과는 대형 데이터셋에서 ERNIE가 BERT와 비슷하며, 소형 데이터셋에서 다소 불안정하다.
• 절제(ablation) 분석은 정보 엔티티와 dEA 사전 학습 모두가 성능 향상에 기여함을 보여준다.