[논문 리뷰] KI-BERT: Infusing Knowledge Context for Better Language and Domain Understanding

Keyur Faldu, Amit Sheth외 2명|arXiv (Cornell University)|2021. 04. 09.

Topic Modeling인용 수 9

한 줄 요약

KI-BERT는 엔티티 토큰 유형, 벡터 공간 투영, 위치 정렬, 선택적 어텐션 기법을 사용하여 피인자 토큰 타입을 활용해 프로젝트된 ConceptNet과 WordNet의 지식 컨텍스트를 BERT의 파인튜닝 중에 통합하는 새로운 방법을 제안한다. 이는 도메인 특화 작업인 SciTail 및 QQP, MNLI, QNLI의 학술 서브셋에서 BERT-base를 크게 능가하고, BERT-large를 초월한다.

ABSTRACT

Contextualized entity representations learned by state-of-the-art transformer-based language models (TLMs) like BERT, GPT, T5, etc., leverage the attention mechanism to learn the data context from training data corpus. However, these models do not use the knowledge context. Knowledge context can be understood as semantics about entities and their relationship with neighboring entities in knowledge graphs. We propose a novel and effective technique to infuse knowledge context from multiple knowledge graphs for conceptual and ambiguous entities into TLMs during fine-tuning. It projects knowledge graph embeddings in the homogeneous vector-space, introduces new token-types for entities, aligns entity position ids, and a selective attention mechanism. We take BERT as a baseline model and implement the "Knowledge-Infused BERT" by infusing knowledge context from ConceptNet and WordNet, which significantly outperforms BERT and other recent knowledge-aware BERT variants like ERNIE, SenseBERT, and BERT_CS over eight different subtasks of GLUE benchmark. The KI-BERT-base model even significantly outperforms BERT-large for domain-specific tasks like SciTail and academic subsets of QQP, QNLI, and MNLI.

연구 동기 및 목표

• 최신 트랜스포머 기반 언어 모델(TLMs)인 BERT와 같은 모델들이 지식 그래프에서 온 지식 컨텍스트를 명시적으로 활용하지 못하는 한계를 해결하기 위해.
• 파인튜닝 중 외부 지식 그래프에서 엔티티와 그 관계에 대한 의미적 지식을 통합하여 언어 이해 및 도메인 이해를 향상시키기 위해.
• 지식 그래프를 사용하여 개념적 엔티티(예: 제1차 세계대전)와 모호한 엔티티(예: 다중 의미를 가진 'drain')를 효과적으로 처리하는 기법을 개발하기 위해.
• 특히 자원이 제한된 도메인 특화 데이터셋에서 성능 향상이 두드러지게 나타나는 파인튜닝 단계에서 지식 통합이 초래하는 성능 향상의 우수성을 입증하기 위해.
• 기본 BERT 및 다른 지식 증강 모델을 능가하는 도메인 적응형 지식 증강 BERT 버전인 KI-BERT를 공개하기 위해.

제안 방법

• ConceptNet과 WordNet에서 온 지식 그래프 임베딩을 선형 변환을 통해 BERT의 히든 상태와 동일한 벡터 공간으로 투영하기.
• 엔티티를 일반 토큰과 구분할 수 있도록 새로운 토큰 유형을 도입하여 전용 어텐션 메커니즘을 가능하게 하기.
• 입력 시퀀스 내 엔티티의 위치를 지식 그래프 내 해당 엔티티의 위치와 정렬하여 구조적 컨텍스트를 유지하기.
• 맥락에 따라 관련 지식 그래프 이웃에 동적으로 어텐션을 집중시키는 선택적 어텐션 메커니즘을 적용하여 관련 사실에 대한 어텐션 집중도를 향상시키기.
• 하류 작업과 함께 종단 간 엔티티를 파인튜닝하여 지식 통합이 맥락 내에서 학습되도록 하기.
• 사전에 다의어 단어(예: 'mass', 'drain')의 올바른 의미를 식별하기 위해 의미 해석 모델을 사용하고, WordNet에서 해당 의미에 맞는 지식을 주입하기.

실험 결과

연구 질문

• RQ1 외부 지식 그래프에서 온 지식 컨텍스트가 특히 자원이 제한된 또는 도메인 특화 설정에서 BERT의 하류 NLP 작업 성능을 향상시킬 수 있는가?
• RQ2 개념적 엔티티(예: 역사적 사건)와 다의어 엔티티(예: 다의어 단어)에 대해 지식을 통합할 경우 모델의 일반화 및 추론 능력에 어떤 영향을 미치는가?
• RQ3 파인튜닝 단계에서의 지식 통합이 사전 훈련 단계에서의 지식 통합 또는 지식 통합이 전혀 없는 경우보다 성능이 뛰어나게 되는가?
• RQ4 KI-BERT의 성능 향상 정도가 훈련 데이터 크기가 감소함에 따라 어떻게 변화하는가? 특히 도메인 특화 NLP 작업에서의 경우에 대해.
• RQ5 선택적 어텐션과 엔티티 전용 토큰 유형이 모델이 관련 지식을 효과적으로 활용하도록 이끌 수 있으며, 동시에 학습된 표현을 손상시키지 않는가?

주요 결과

• KI-BERT-base는 GLUE 평균 점수 80.47을 기록하여 BERT-base(78.9)를 뚜렷이 능가하고, 도메인 특화 벤치마크에서 BERT-large를 초월한다.
• KI-BERT-base는 파라미터 수가 BERT-large의 약 1/3에 불과함에도 불구하고, 과학 분야 작업인 SciTail과 QQP, QNLI, MNLI의 학술 서브셋에서 BERT-large를 능가한다.
• 지식 통합으로 인한 성능 향상은 특히 작은 데이터셋에서 가장 두드러지며, 자원이 제한된 도메인 적응에 매우 적합함을 시사한다.
• 제거 실험 결과, 선택적 어텐션, 엔티티 토큰 유형, 위치 정렬, 벡터 공간 투영 중 어느 요소라도 제거할 경우 성능 저하가 명백하게 나타남을 확인하였다.
• 지식 컨텍스트 통합은 정답 예측의 신뢰도를 평균 3.3% 향상시키며, 더 많은 엔티티가 통합될 경우 추가로 1.5% 향상된다.
• KI-BERT는 정확한 예측에 대해 높은 신뢰도(예: BERT의 경우 99.99%이지만, KI-BERT는 약 97%로 향상)를 유지하면서 동시에 잘못된 예측의 과도한 확신을 줄여, 더 견고한 추론 능력을 보임을 시사한다.