[논문 리뷰] Knowledge Enhanced Pretrained Language Models: A Compreshensive Survey

Xiaokai Wei, Shen Wang외 3명|arXiv (Cornell University)|2021. 10. 16.

Topic Modeling참고 문헌 110인용 수 25

한 줄 요약

tldr: 포괄적인 조사인 Knowledge Enhanced Pretrained Language Models (KE-PLMs)에 대해, 지식 원천, 세분성, 및 응용의 세 가지 분류체계를 제시하고, 방법, 데이터셋, 응용, 도전과제 및 향후 방향에 대해 논의한다.

ABSTRACT

Pretrained Language Models (PLM) have established a new paradigm through learning informative contextualized representations on large-scale text corpus. This new paradigm has revolutionized the entire field of natural language processing, and set the new state-of-the-art performance for a wide variety of NLP tasks. However, though PLMs could store certain knowledge/facts from training corpus, their knowledge awareness is still far from satisfactory. To address this issue, integrating knowledge into PLMs have recently become a very active research area and a variety of approaches have been developed. In this paper, we provide a comprehensive survey of the literature on this emerging and fast-growing field - Knowledge Enhanced Pretrained Language Models (KE-PLMs). We introduce three taxonomies to categorize existing work. Besides, we also survey the various NLU and NLG applications on which KE-PLM has demonstrated superior performance over vanilla PLMs. Finally, we discuss challenges that face KE-PLMs and also promising directions for future research.

연구 동기 및 목표

• 지식 인코퍼레이션을 통해 지식 인식의 한계를 해결하기 위해 프리트레인된 언어 모델에 지식을 통합하는 연구를 동기화한다.
• 지식 원천, 세분성 및 응용에 기반한 KE-PLMs의 구조화된 분류체계를 제공한다.
• NLU와 NLG 태스크 전반에 걸친 영향력 있는 방법, 목표 및 데이터셋을 조사한다.
• KE-PLM 연구의 도전과제를 논의하고 향후 유망한 방향을 제시한다.

제안 방법

• KE-PLMs를 지식 원천, 세분성, 응용에 따라 분류하는 세 가지 분류체계를 소개한다.
• (언어학적, 백과사전, 상식, 도메인 특이) 범주별로 대표적인 방법과 지식 통합 전략을 검토한다.
• KE-PLMs의 성능을 보여주는 NLU 및 NLG 태스크를 통해 데이터셋과 응용을 요약한다.
• 방법과 특성을 종합 표를 사용해 비교한다.

실험 결과

연구 질문

• RQ1 KE-PLMs를 구축하는 데 사용된 지식 원천은 무엇인가요(언어적, 백과사전, 상식, 도메인 특이)?
• RQ2 KE-PLMs에서 서로 다른 세분성(텍스트 청크, 엔티티, 관계, 서브그래프)으로 지식이 어떻게 통합되나요?
• RQ3 어떤 NLP 태스크와 응용이 KE-PLMs의 이익을 얻으며, 이러한 이득을 보여주는 벤치마크/데이터셋은 무엇인가요?
• RQ4 KE-PLMs의 주요 도전과 향후 방향은 무엇인가요(효율성, 노이즈 강건성, 지식 선택 등)?

주요 결과

• KE-PLMs는 다양한 소스(언어적, 백과사전, 상식, 도메인 특이)를 통합하여 기본 PLMs를 넘어서는 지식 인식을 향상시킨다.
• 지식은 텍스트 청크, 엔티티 수준의 단서, 관계 트리플, 서브그래프 등 여러 세분성에서 활용되며, 이에 상응하는 모델링 접근법이 있다.
• KE-PLMs는 엔티티 타입 지정, 관계 분류, 질의응답, 상식 추론, 텍스트 생성 등 다양한 NLU 및 NLG 태스크에서 성능 향상을 보인다.
• 다양한 데이터셋과 벤치마크(예: LAMA, 상식 QA, KG 관련 태스크)가 KE-PLMs의 평가에 사용되어 폭넓은 적용 가능성을 보여준다.
• 본 고서는 효율성, 노이즈, 데이터 품질과 같은 도전과제를 강조하고, 향후 연구 방향으로 더 폭넓은 응용, 더 많은 지식 소스, 강인한 학습 및 확장 가능한 추론을 제시한다.