[논문 리뷰] LUKE: Deep Contextualized Entity Representations with Entity-aware Self-attention

Ikuya Yamada, Akari Asai외 3명|arXiv (Cornell University)|2020. 10. 02.

Topic Modeling참고 문헌 41인용 수 34

한 줄 요약

LUKE는 트랜스포머를 사용하여 단어와 엔티티를 토큰으로 취급하고 엔티티 인식.self-attention 메커니즘을 적용하여 다수의 엔티티 관련 태스크에서 최첨단 결과를 달성하는 사전학습된 맥락화 단어 및 엔티티 표현을 도입합니다.

ABSTRACT

Entity representations are useful in natural language tasks involving entities. In this paper, we propose new pretrained contextualized representations of words and entities based on the bidirectional transformer. The proposed model treats words and entities in a given text as independent tokens, and outputs contextualized representations of them. Our model is trained using a new pretraining task based on the masked language model of BERT. The task involves predicting randomly masked words and entities in a large entity-annotated corpus retrieved from Wikipedia. We also propose an entity-aware self-attention mechanism that is an extension of the self-attention mechanism of the transformer, and considers the types of tokens (words or entities) when computing attention scores. The proposed model achieves impressive empirical performance on a wide range of entity-related tasks. In particular, it obtains state-of-the-art results on five well-known datasets: Open Entity (entity typing), TACRED (relation classification), CoNLL-2003 (named entity recognition), ReCoRD (cloze-style question answering), and SQuAD 1.1 (extractive question answering). Our source code and pretrained representations are available at https://github.com/studio-ousia/luke.

연구 동기 및 목표

• 텍스트에서의 엔티티 모델링을 개선하여 다운스트림 엔티티 관련 태스크를 향상시키려는 동기를 제시한다.
• 단어와 엔티티를 토큰으로 함께 표현하는 통합 Transformer 기반 모델을 제안한다.
• Wikipedia 유래 데이터에서 마스킹된 엔티티를 예측하는 새로운 사전학습 목표를 도입한다.
• 주목(attention) 계산 중 토큰 타입을 구분하는 엔티티 인식 self-attention 메커니즘을 개발한다.
• 다양한 엔티티 중심 벤치마크에서 최첨단 성능을 입증한다.

제안 방법

• 단어와 엔티티를 독립 토큰으로 간주하는 단일 Transformer 아키텍처를 사용한다.
• 토큰, 위치, 엔티티 타입의 세 가지 입력 임베딩을 이용해 토큰 표현을 형성한다.
• 대규모 위키피디아 유래 말뭉치에서 MLM과 엔티티 마스킹 목표를 함께 사전학습한다.
• 교차 타입 주의(attention)에서 타입 의존 쿼리 매트릭스(Q_w2e, Q_e2w, Q_e2e)를 도입해 엔티티 인식 self-attention을 구현한다.
• 다양한 태스크에 대해 LUKE 표현 위에 간단한 선형 분류기로 미세조정한다.

실험 결과

연구 질문

• RQ1 Transformer 내에서 단어/엔티티 토큰 표현을 공동으로 사용하는 것이 엔티티 중심 태스크(타이핑, NER, QA, 관계 분류)를 개선할 수 있는가?
• RQ2 엔티티 인식 self-attention 메커니즘이 표준 self-attention에 비해 엔티티 간 관계 추론을 향상시키는가?
• RQ3 Wikipedia 주석 데이터의 엔티티 표현이 워드 전용 사전학습에 비해 다운스트림 성능을 어느 정도까지 향상시키는가?

주요 결과

• LUKE는 다섯 데이터셋에서 최첨단 결과를 달성했습니다: Open Entity(엔티티 타이핑), TACRED(관계 분류), CoNLL-2003(NER), ReCoRD(클로즈 스타일 QA), SQuAD 1.1(추출 QA).
• Open Entity에서 LUKE는 78.2 F1을 달성(대 RoBERTa 76.2), 이전 최고치를 2.0 F1 높임.
• TACRED에서 LUKE는 72.7 F1( RoBERTa 71.3 대비), 이전 최고를 0.7 F1 상회.
• CoNLL-2003에서 LUKE는 94.3 F1로 최첨단이며 이전보다 약 0.8 F1 상회.
• ReCoRD에서 LUKE는 Dev 91.4 F1 / 90.9+ EM으로 RoBERTa 베이스라인을 능가합니다.
• SQuAD 1.1에서 LUKE는 Dev 95.0 F1 / 89.8 EM으로 RoBERTa 및 XLNet 베이스라인을 상회합니다.