[논문 리뷰] Exploiting Structured Knowledge in Text via Graph-Guided Representation Learning

Tao Shen, Yi Mao외 4명|arXiv (Cornell University)|2020. 04. 29.

Topic Modeling참고 문헌 44인용 수 8

한 줄 요약

이 논문은 자기지도 학습 전훈 중 지식 그래프(KG)로부터 구조화된 지식을 사전에 훈련된 언어 모델에 통합하는 그래프 가이드드 표현 학습 프레임워크를 제안한다. 엔티티 수준의 마스킹과 가짜 선택지 억제된 순서 정렬 목적함수를 사용함으로써, 추론 시 검색을 필요로 하지 않고도 질문 응답 및 지식 기반 완성과 같은 하류 작업에서 성능을 향상시킨다. 다섯 가지 벤치마크에서 최신 기준(SOTA) 성능을 달성한다.

ABSTRACT

In this work, we aim at equipping pre-trained language models with structured knowledge. We present two self-supervised tasks learning over raw text with the guidance from knowledge graphs. Building upon entity-level masked language models, our first contribution is an entity masking scheme that exploits relational knowledge underlying the text. This is fulfilled by using a linked knowledge graph to select informative entities and then masking their mentions. In addition we use knowledge graphs to obtain distractors for the masked entities, and propose a novel distractor-suppressed ranking objective which is optimized jointly with masked language model. In contrast to existing paradigms, our approach uses knowledge graphs implicitly, only during pre-training, to inject language models with structured knowledge via learning from raw text. It is more efficient than retrieval-based methods that perform entity linking and integration during finetuning and inference, and generalizes more effectively than the methods that directly learn from concatenated graph triples. Experiments show that our proposed model achieves improved performance on five benchmark datasets, including question answering and knowledge base completion tasks.

연구 동기 및 목표

• 지식 그래프(KG)로부터의 구조화된 관계 지식을 사전 훈련된 언어 모델이 효과적으로 활용할 수 있도록 하는 것.
• 피팅 및 추론 시 높은 비용이 드는 엔티티 연결 및 검색에 대한 의존도를 줄이는 것.
• 고정된 삼항관계가 아닌 자유형 텍스트에서 학습함으로써 일반화 능력을 향상시키는 것.
• 텍스트 내의 관계적 및 논리적 정보를 활용하는 자기지도 학습 목표함수를 개발하는 것.
• 사전 훈련 기간 동안만 KG를 사용하여 마스크된 언어 모델에 구조화된 지식을 암묵적으로 통합하는 것.

제안 방법

• 문서 빈도 및 지식 그래프 내 상호 접근 가능성에 기반해 정보성 있는 엔티티를 선택하는 KG 가이드드 엔티티 마스킹 기법을 도입한다.
• 새로운 가짜 선택지 억제된 순서 정렬 목적함수를 위해 KG를 사용해 마스킹된 엔티티의 가짜 선택지를 생성한다.
• 표현 학습을 향상시키기 위해 사전 훈련 기간 동안 엔티티 마스킹과 순서 정렬 목표함수를 함께 최적화한다.
• 전체 엔티티 언급을 개별 토큰이 아닌 마스킹하는 엔티티 수준의 마스킹된 언어 모델링 목표함수를 활용한다.
• 백본으로 사전 훈련된 언어 모델(BERT 등)을 사용하며, KG 가이드는 전훈 기간 동안만 적용된다.
• 직접적으로 KG 삼항관계를 사용하지 않고, 훈련 기간 동안 동적 엔티티 및 부정적 샘플 소스로 KG를 활용한다.

실험 결과

연구 질문

• RQ1 지식 그래프(KG)의 구조화된 지식이 자기지도 학습을 통해 사전 훈련된 언어 모델에 효과적으로 통합될 수 있는가?
• RQ2 KG 가이드드 엔티티 마스킹이 텍스트 내의 관계적 및 논리적 의존성 학습 능력을 향상시키는가?
• RQ3 가짜 선택지 억제된 순서 정렬 목적함수는 정확한 엔티티와 타당한 대체 엔티티 간의 구분 능력을 향상시키는가?
• RQ4 효율성과 일반화 능력 측면에서 이전의 검색 기반 또는 삼항관계 미세조정 접근법과 비교해 본다면 어떻게 되는가?
• RQ5 KG 가이드드 전훈이 질문 응답 및 지식 기반 완성과 같은 하류 작업 성능에 어느 정도 향상시키는가?

주요 결과

• 제안된 모델은 질문 응답 및 지식 기반 완성 작업을 포함한 다섯 가지 벤치마크 데이터셋에서 최신 기준 또는 경쟁력 있는 성능을 달성한다.
• KG 가이드드 엔티티 마스킹 기법은 훈련 효율성과 표현 품질 측면에서 무작위 엔티티 마스킹, 무작위 스펜 마스킹, 전체 단어 마스킹보다 뛰어나다.
• 가짜 선택지 억제된 순서 정렬 목적함수는 정확한 엔티티와 타당한 부정적 샘플 간의 구분 능력을 크게 향상시킨다.
• 삼항관계 미세조정 접근법보다 더 잘 일반화되는데, 이는 고정된 KG 삼항관계가 아닌 자유형 텍스트에서 학습하기 때문이다.
• 실험 결과, 추론 시 검색이나 연결이 필요 없이도 사전 훈련 기간 동안 KG 가이드가 모델 성능 향상에 기여하는 것으로 나타났다.
• 제거 실험 결과, 엔티티 마스킹 전략과 가짜 선택지 억제된 순서 정렬 목적함수 모두 성능 향상에 기여한다는 것이 확인되었다.