[논문 리뷰] A Survey of Knowledge Enhanced Pre-trained Models

Jian Yang, Xinyu Hu외 2명|arXiv (Cornell University)|2021. 10. 01.

Topic Modeling참고 문헌 127인용 수 23

한 줄 요약

이 종합 검토에서는 기호적 지식(예: 지식 그래프)을 사전 훈련된 모델에 통합하여 추론, 강인성 및 해석 가능성성을 향상시키는 지식 강화 사전 훈련된 언어 모델(KEPLMs)에 대한 포괄적인 분류 체계와 분석을 제시한다. 본 논문은 지식의 세분성, 통합 방법, 기호적 파rameterization 기준으로 KEPLMs를 분류하고, NLP 분야에서 확장 가능하고 일관되며 일반화 가능한 지식 통합을 위한 핵심 과제와 향후 방향을 규명한다.

ABSTRACT

Pre-trained language models learn informative word representations on a large-scale text corpus through self-supervised learning, which has achieved promising performance in fields of natural language processing (NLP) after fine-tuning. These models, however, suffer from poor robustness and lack of interpretability. We refer to pre-trained language models with knowledge injection as knowledge-enhanced pre-trained language models (KEPLMs). These models demonstrate deep understanding and logical reasoning and introduce interpretability. In this survey, we provide a comprehensive overview of KEPLMs in NLP. We first discuss the advancements in pre-trained language models and knowledge representation learning. Then we systematically categorize existing KEPLMs from three different perspectives. Finally, we outline some potential directions of KEPLMs for future research.

연구 동기 및 목표

• 사전 훈련된 언어 모델과 지식 표현 학습에 대한 포괄적인 검토를 제공하기 위해.
• 지식의 세분성, 통합 방법, 기호적 파rameterization 기반으로 KEPLMs에 대한 새로운 분류 체계를 제안하기 위해.
• 다양한 NLP 작업에서 각 KEPLM 유형의 효과성, 해석 가능성성 및 한계를 분석하기 위해.
• 확장 가능하고 일관되며 일반화 가능한 지식 통합을 위한 NLP 분야에서의 열린 과제를 규명하고 향후 연구 방향을 제안하기 위해.

제안 방법

• 지식의 세분성(엔티티, 관계, 트리플릿 등), 지식 통합 방법(특징 융합, 임베딩 조합, 감독, 검색, 규칙 유도), 기호적 지식의 파arameterization 수준을 축으로 하여 KEPLMs를 분류하기 위해.
• 각 KEPLM 유형의 작동 원리와 상호 간의 상충 관계(계산 오버헤드, 해석 가능성성, 최종 작업 성능 등)를 분석하기 위해.
• 응용 범위, 지식 통합 효과성, 지식 관리, 해석 가능성성 기준으로 기존 KEPLMs를 평가하기 위해.
• 절차적 지식과 메타인지 지식 통합, 일반 지식 표현 개발, 즉시 적용 가능한 지식 업데이트 기능 제공 등의 향후 연구 방향 제안하기 위해.
• 이질적인 지식 소스 간 일관성 검증 메커니즘 도입 및 다단계 지식 추출에서의 오류 전파 완화 기법 제안하기 위해.
• 형식적 논리와 PLMs의 하이브리드 통합을 통해 복잡한 자연어 상황에서 추론 능력과 일반화 능력을 향상시키기 위한 주장하기 위해.

실험 결과

연구 질문

• RQ1 기호적 지식을 어떻게 체계적으로 사전 훈련된 언어 모델에 통합하여 추론 능력과 해석 가능성성을 향상시킬 수 있는가?
• RQ2 KEPLMs에서 다양한 지식 통합 방법 간의 핵심 차이점과 상충 관계는 무엇인가?
• RQ3 다양한 지식의 세분성과 표현 형식은 모델 성능과 일관성에 어떤 영향을 미치는가?
• RQ4 동적이고 실제 세계적인 NLP 응용에서 지식 일관성과 효율성을 유지하는 데 남아 있는 과제는 무엇인가?
• RQ5 향후 KEPLMs는 어떻게 다양한 지식 유형(절차적 지식, 메타인지 지식 포함)에 걸쳐 일반화를 지원할 수 있는가?

주요 결과

• KEPLMs는 지식 그래프와 같은 기호적 지식을 통합함으로써 모델의 강인성과 해석 가능성을 크게 향상시키며, 편향된 통계적 패턴에 대한 의존도를 감소시킨다.
• 특징 융합 KEPLMs는 낮은 계산 오버헤드를 제공하며 세분화된 엔티티 수준 작업에 효과적이나, 임베딩 조합 모델은 지식 기반 NLP 작업 전반에서 더 우수한 일반화 성능을 보인다.
• 검색 기반 및 규칙 유도 KEPLMs는 의사결정의 투명성을 향상시키지만 일반적으로 특정 응용 분야에 국한되어 있어, 더 일반화 가능한 프레임워크가 필요함을 시사한다.
• 현재 KEPLMs는 이질적인 지식 소스 통합 또는 동적 지식 업데이트 처리 시 지식 일관성 유지에 어려움을 겪고 있어, 보다 나은 정렬 및 검증 메커니즘의 필요성을 보여준다.
• 형식적 논리와 PLMs의 통합은 아직도 표준 PLMs가 해결하기 어려운 추론 능력 향상에 잠재력을 보이고 있다.
• 향후 KEPLMs는 효율적이고 즉시 적용 가능한 지식 저장 및 업데이트를 지원해야 하며, 여러 지식 소스 간 충돌을 탐지하고 해결할 수 있는 메커니즘을 갖춰야 한다.