[논문 리뷰] DKPLM: Decomposable Knowledge-enhanced Pre-trained Language Model for Natural Language Understanding

Taolin Zhang, Chengyu Wang외 5명|arXiv (Cornell University)|2021. 12. 02.

Topic Modeling인용 수 13

한 줄 요약

DKPLM은 지식 주입을 사전 훈련 단계에만 집중함으로써 런타임 지식 인코더가 필요 없는 지식 강화 사전 훈련 언어 모델이다. 장기간 엔티티 탐지, 의사 토큰 표현, 관계 기반 지식 복원을 통해 지식을 효율적으로 주입하며, 제로샷 프로빙 및 지식 인식 작업에서 최신 기술 수준의 성능을 달성하면서도 기존 KEPLM보다 빠른 추론 속도를 제공한다.

ABSTRACT

Knowledge-Enhanced Pre-trained Language Models (KEPLMs) are pre-trained models with relation triples injecting from knowledge graphs to improve language understanding abilities. To guarantee effective knowledge injection, previous studies integrate models with knowledge encoders for representing knowledge retrieved from knowledge graphs. The operations for knowledge retrieval and encoding bring significant computational burdens, restricting the usage of such models in real-world applications that require high inference speed. In this paper, we propose a novel KEPLM named DKPLM that Decomposes Knowledge injection process of the Pre-trained Language Models in pre-training, fine-tuning and inference stages, which facilitates the applications of KEPLMs in real-world scenarios. Specifically, we first detect knowledge-aware long-tail entities as the target for knowledge injection, enhancing the KEPLMs' semantic understanding abilities and avoiding injecting redundant information. The embeddings of long-tail entities are replaced by "pseudo token representations" formed by relevant knowledge triples. We further design the relational knowledge decoding task for pre-training to force the models to truly understand the injected knowledge by relation triple reconstruction. Experiments show that our model outperforms other KEPLMs significantly over zero-shot knowledge probing tasks and multiple knowledge-aware language understanding tasks. We further show that DKPLM has a higher inference speed than other competing models due to the decomposing mechanism.

연구 동기 및 목표

• 기존 KEPLM에서 파생된 사전 훈련 모델의 파생 과정에서 지식 인코더의 높은 계산 비용 문제를 해결하기 위해.
• 지식 인식 장기 엔티티에만 집중함으로써 중복 지식 주입을 줄이기 위해.
• 하류 작업 단계에서 지식 주입을 분리함으로써 효율적이고 고속의 추론을 가능하게 하기 위해.
• 관계 기반 복원 사전 훈련 작업을 통해 주입된 지식에 대한 모델 이해도를 향상시키기 위해.
• 추론 과정에서 모델 복잡도를 증가시키지 않으면서도 지식 프로빙 및 하류 NLU 작업에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• 코퍼스 빈도, 지식 그래프 이웃 수, 의미적 중요도를 기반으로 장기 엔티티를 탐지하여 지식 주입 우선순위를 정한다.
• 공유된 PLM 인코더를 통해 지식 트리플에서 유도된 '의사 토큰 표현'으로 탐지된 장기 엔티티의 임베딩을 대체한다.
• 엔티티 토큰을 하나의 엔티티와 관계 기술자(예: 관계 예측)를 사용해 재구성하는 관계 기반 지식 복원 사전 훈련 작업을 도입한다.
• 지식 주입을 사전 훈련 단계에서만 수행함으로써, 미세조정 및 추론 단계에서 지식 인코더가 필요 없도록 한다.
• 컨텍스트 표현과 지식 표현을 모두 공유된 PLM 인코더에서 수행함으로써 추가 파rameter를 최소화한다.
• 엔티티 기반 지식 주입과 관계 인식 복원을 결합한 이중 지식 주입 메커니즘을 활용한다.

실험 결과

연구 질문

• RQ1 지식 주입을 추론 및 미세조정 단계에서 분리함으로써 추론 속도를 향상시킬 수 있는가?
• RQ2 장기 엔티티에만 지식 주입을 집중함으로써 성능 향상과 중복 감소를 달성할 수 있는가?
• RQ3 관계 기반 지식 복원 작업이 주입된 지식의 이해를 효과적으로 강화할 수 있는가?
• RQ4 지식 강화 모델이 런타임 지식 인코더 없이도 최신 기술 수준의 성능을 달성할 수 있는가? 이때 모델 파arameter 증가가 최소한이어야 한다.
• RQ5 DKPLM의 성능은 제로샷 프로빙 및 하류 지식 인식 작업에서 강력한 KEPLM 기준 모델들과 비교해 어떻게 되는가?

주요 결과

• DKPLM는 최신 기술 수준의 모델보다 LAMA 제로샷 지식 프로빙 데이터셋 4개 평균 상위 1 정확도에서 +1.57% 향상된 성능을 기록했다.
• TACRED 관계 추출 벤치마크에서 DKPLM은 73.07% F1을 기록하여 KnowBERT 및 ERNIE-BERT를 포함한 모든 기준 모델을 앞섰다.
• DKPLM의 추론 시간(1.61초)은 BERT(0.97초)와 RoBERTa(1.55초)와 거의 유사했으며, KEPLER(1.86초)와 같은 기존 KEPLM 모델보다 빠르게 작동했다.
• 제거 실험 결과, 의사 토큰 임베딩 메커니즘을 제거할 경우 성능이 심각하게 저하됨을 확인하여, 이 메커니즘이 지식 주입에 핵심적인 역할을 한다는 것을 입증했다.
• 고빈도 또는 모든 엔티티에 지식을 주입하는 것보다 장기 엔티티에만 주입하는 것이 더 우수한 성능을 내며, 주입 엔티티 수를 줄임으로써 최적의 성능가능성이 확인되었다.
• 주입된 지식 트리플 수가 적어도 모델 성능이 유지됨을 통해, 품질이 양보다 더 중요하며, 이는 모델의 강건성을 향상시킨다는 것을 시사한다.