[논문 리뷰] A Survey on Knowledge-Enhanced Pre-trained Language Models

Chaoqi Zhen, Yanlei Shang외 4명|arXiv (Cornell University)|2022. 12. 27.

Topic Modeling인용 수 5

한 줄 요약

이 종합적 서베이는 지식 강화 사전 훈련 언어 모델(KEPLMs)에 대해 포괄적이고 최신의 개요를 제공하며, 지식 유형, 통합 방법(암시적 및 명시적), 평가 지표, 응용 분야, 향후 연구 방향을 체계적으로 분석한다. 외부 지식이 PLM의 해석 가능성, 추론 능력 및 견고성 향상에 기여함을 강조하며, 특히 지식 집약적인 NLP 작업에서 두드러진다.

ABSTRACT

Natural Language Processing (NLP) has been revolutionized by the use of Pre-trained Language Models (PLMs) such as BERT. Despite setting new records in nearly every NLP task, PLMs still face a number of challenges including poor interpretability, weak reasoning capability, and the need for a lot of expensive annotated data when applied to downstream tasks. By integrating external knowledge into PLMs, extit{\underline{K}nowledge-\underline{E}nhanced \underline{P}re-trained \underline{L}anguage \underline{M}odels} (KEPLMs) have the potential to overcome the above-mentioned limitations. In this paper, we examine KEPLMs systematically through a series of studies. Specifically, we outline the common types and different formats of knowledge to be integrated into KEPLMs, detail the existing methods for building and evaluating KEPLMS, present the applications of KEPLMs in downstream tasks, and discuss the future research directions. Researchers will benefit from this survey by gaining a quick and comprehensive overview of the latest developments in this field.

연구 동기 및 목표

• NLP 분야의 연구자들을 대상으로 지식 강화 사전 훈련 언어 모델(KEPLMs)에 대한 체계적이고 최신의 서베이를 제공하기 위해.
• KEPLMs에서 사용되는 지식의 일반적인 유형과 형식(예: 일반 지식, 도메인 특화 지식, 구조화된 지식)을 식별하고 분류하기 위해.
• 암시적 및 명시적 지식 통합 기법(예: 지식 유도형 마스킹, 메모리 증강 아키텍처 포함)의 설계 및 효과성 측면에서 분석하고 비교하기 위해.
• 지식 획득, 효율성, 다양한 작업에 대한 일반화 능력을 평가하는 지표를 사용하여 KEPLM의 성능을 평가하기 위해.
• 통합 KEPLM, 제로/소수 샘플 학습, 향상된 해석 가능성 및 견고성 등을 포함한 향후 연구 방향 탐색하기 위해.

제안 방법

• 지식을 일반 지식(예: ConceptNet, ATOMIC), 도메인 특화 지식(예: 생물의학, 법적, 전자상거래), 그리고 구조화된 형식(예: 지식 그래프, 삼중항, 임베딩)으로 유형화한다.
• 지식 통합을 암시적 방법(예: 지식 유도형 마스킹, 사전 훈련 작업)과 명시적 방법(예: 입력 주입, 융합 모듈, 외부 메모리 검색)으로 분류한다.
• 지식 획득(예: 모델 프로빙), 효율성(예: 추론 속도), 일반화(예: 다중 작업 성능)에 중점을 둔 평가 전략을 검토한다.
• 지식 집약적인 NLP 작업(예: 질의 응답, 텍스트 요약, 기계 번역)에서 KEPLM의 응용을 분석한다.
• 다양한 작업을 위한 통합 KEPLM, 향상된 제로/소수 샘플 학습, 향상된 해석 가능성 및 견고성 등의 향후 연구 방향을 제안한다.
• KGI, KALM, K-BART와 같은 기존 KEPLM을 검토하며, 그들의 설계 선택 사항과 KILT와 같은 벤치마크에서의 성능을 강조한다.

실험 결과

연구 질문

• RQ1 사전 훈련 언어 모델을 강화하기 위해 사용되는 주요 지식 유형과 형식은 무엇인가요?
• RQ2 암시적 및 명시적 지식 통합 방법은 설계 및 효과성 측면에서 어떻게 다릅니까?
• RQ3 KEPLM에서 지식 획득, 효율성, 일반화 능력을 측정하기 위해 가장 적절한 평가 지표는 무엇인가요?
• RQ4 KEPLM은 하류의 지식 집약적인 NLP 작업에서 성능을 어떻게 향상시키나요?
• RQ5 특히 해석 가능성, 견고성, 제로 샘플 학습 측면에서 KEPLM의 주요 열린 과제와 향후 연구 방향은 무엇인가요?

주요 결과

• 외부 지식 통합을 통해 KEPLM는 표준 PLM의 블랙박스 성향을 줄이며 모델의 해석 가능성과 추론 능력을 크게 향상시킨다.
• 지식 삼중항 주입 또는 외부 메모리 사용과 같은 명시적 통합 방법은 질의 응답 및 요약과 같은 지식 집약적 작업에서 더 높은 성능을 달성한다.
• 지식 유도형 마스킹 및 사전 훈련 작업과 같은 암시적 방법은 모델 아키텍처를 수정하지 않고도 지식을 효과적으로 통합하여 최소한의 계산 비용으로도 강력한 성능을 달성한다.
• KGI 및 KALM와 같은 모델들은 지식 통합이 제로/소수 샘플 학습 능력을 향상시킴을 보여주며, 특히 자원이 제한된 환경에서 두드러진다.
• 지식 프로빙 및 다중 작업 일반화에 중점을 둔 평가 지표는 KEPLM가 표준 PLM보다 외부 지식을 더 효과적으로 습득하고 유지할 수 있음을 보여준다.
• 진전이 있었음에도 불구하고, KEPLM에서 해석 가능성과 견고성은 여전히 미흡하게 다뤄져 향후 연구의 핵심 영역으로 남아 있다.