[논문 리뷰] Connecting Language and Knowledge Bases with Embedding Models for Relation Extraction

Jason Weston, Antoine Bordes외 2명|arXiv (Cornell University)|2013. 07. 30.

Natural Language Processing Techniques인용 수 23

한 줄 요약

이 논문은 관계 추출 성능을 향상시키기 위해 텍스트 명시 및 지식 기반(KB) 삼중항을 연결하는 공동 임베딩 모델을 제안한다. 두 가지 스코어링 함수를 사용한다: 하나는 관계 명시를 KB 관계와 매칭하기 위한 것이고, 다른 하나는 KB 삼중항을 평가하기 위한 것이다. 텍스트 및 KB 데이터를 함께 학습함으로써, 이 모델은 NYT+FB 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 텍스트만을 사용하는 방법보다 특히 저조도 재현율 수준에서 뚜렷이 뛰어나다.

ABSTRACT

This paper proposes a novel approach for relation extraction from free text which is trained to jointly use information from the text and from existing knowledge. Our model is based on two scoring functions that operate by learning low-dimensional embeddings of words and of entities and relationships from a knowledge base. We empirically show on New York Times articles aligned with Freebase relations that our approach is able to efficiently use the extra information provided by a large subset of Freebase data (4M entities, 23k relationships) to improve over existing methods that rely on text features alone.

연구 동기 및 목표

• 텍스트 증거와 구조화된 지식 기반(KB) 삼중항을 공동으로 활용하여 관계 추출을 향상시키기 위해.
• 기존 방법이 약한 감독 기반 텍스트 특징에만 의존하는 한계를 해결하기 위해.
• 대규모 KB에서 학습을 통해 미리 보지 않은 (h,r,t) 삼중항으로의 일반화를 가능하게 하기 위해.
• 텍스트 명시, 개체, KB 관계가 일관되게 평가되는 통합된 임베딩 공간을 설계하기 위해.
• 외부 KB 데이터를 통합함으로써 성능 향상이 이루어지며, 특히 재현율이 낮은 영역에서 성능 향상이 두드러짐을 입증하기 위해.

제안 방법

• 모델은 두 가지 스코어링 함수를 사용한다: $ S_{m2r}(m,r) = \mathbf{f}(m)^\top \mathbf{r} $, 이는 학습된 단어 임베딩을 통해 관계 명시를 KB 관계로 매핑한다.
• 함수 $ \mathbf{f}(m) = \mathbf{W}^\top \Phi(m) $ 는 학습된 가중치 행렬 $ \mathbf{W} $ 를 사용하여 단어 창을 $ k $-차원 임베딩 공간으로 투영한다.
• 두 번째 스코어링 함수 $ \tilde{S}_{kb}(h,r,t) $ 는 공유된 벡터 공간 내에서 개체 및 관계 임베딩을 사용하여 KB 삼중항 $ (h,r,t) $ 의 타당성을 평가한다.
• 최종 예측은 두 스코어의 합으로 계산된다: $ S_{m2r+kb}(h,\hat{r}_{h,t},t) = \sum_{m \in \mathcal{M}_{h,t}} S_{m2r}(m,\hat{r}_{h,t}) + \tilde{S}_{kb}(h,\hat{r}_{h,t},t) $.
• 모델는 확률적 경사 하강법(SGD)을 사용하여 학습되며, $ k=50 $-차원 임베딩과 두 구성 요소에 대해 별도의 학습률을 사용한다.
• 검증 세트를 사용하여 하이퍼파rameter를 튜닝하였으며, KB 스코어링 함수를 校정하기 위해 온도 파ram터 $ t=10 $ 를 사용하였다.

실험 결과

연구 질문

• RQ1 텍스트 명시와 지식 기반 삼중항에서의 공동 학습이 텍스트 중심 모델을 초월하여 관계 추출 성능을 향상시킬 수 있는가?
• RQ2 대규모 KB를 활용하여 모델이 미리 보지 않은 (h,r,t) 삼중항으로 효과적으로 일반화할 수 있는가?
• RQ3 구조화된 KB 데이터를 통합하면, 정밀도가 중요한 저조도 재현율 영역에서 성능 향상이 이루어지는가?
• RQ4 통합된 임베딩 공간이 텍스트 기반 관계 명시와 공식적인 KB 관계를 효과적으로 연결할 수 있는가?
• RQ5 동일한 평가 프로토콜 하에서 최신 기술 수준의 방법과 비교해 모델의 성능은 어떻게 되는가?

주요 결과

• 제안된 방법인 Wsabie M2R+FB는 NYT+FB 벤치마크에서 최신 기술 수준의 성능을 달성하였으며, 이는 이전의 모든 방법을 뛰어넘었고, 특히 저조도 재현율 영역(0–0.1)에서 두드러진 성능 향상을 보였다.
• KB 삼중항의 추가로 성능 향상이 뚜렷했다: Wsabie M2R+FB는 텍스트 중심인 Wsabie M2R 모델과 모든 기준 모델, 특히 Hoffmann 및 mimlre를 뛰어넘었다.
• 모델는 테스트 세트의 모든 개체 쌍을 제외한 KB를 활용하여, 미리 보지 않은 개체 쌍으로의 일반화가 효과적으로 이루어졌음을 보였다.
• 400만 개의 개체와 23,000개의 관계를 포함한 KB 스코어링 함수 $ \tilde{S}_{kb} $ 를 학습하는 데 2일이 소요되었고, 명시 모델은 5분 내로 학습되었다.
• 대규모 Freebase의 일부(400만 개의 개체, 23,000개의 관계)를 사용하여 모델는 정교함과 확장성을 입증하였으며, 텍스트와 KB 간의 개체 세트 정렬이 필요하지 않았다.
• 모델의 성능 향상은 특히 저조도에서 두드러지며, 중요한 추출 시나리오에서 정밀도 향상이 이루어짐을 시사한다.