[논문 리뷰] Joint Representation Learning of Text and Knowledge for Knowledge Graph Completion

Xu Han, Zhiyuan Liu외 1명|arXiv (Cornell University)|2016. 11. 13.

Topic Modeling참고 문헌 24인용 수 38

한 줄 요약

이 논문은 CNN 기반 텍스트 인코딩과 지식 그래프를 위한 TransE를 사용하여 단어, 실체, 관계를 공유된 연속 벡터 공간에 통합하는 공동 표현 학습 프레임워크를 제안한다. 모델은 구조화된 지식과 비구조화된 텍스트를 모두 활용하여 실체 예측, 관계 예측, 관계 분류 작업에서 성능을 크게 향상시키며, 모든 작업에서 베이스라인을 능가한다.

ABSTRACT

Joint representation learning of text and knowledge within a unified semantic space enables us to perform knowledge graph completion more accurately. In this work, we propose a novel framework to embed words, entities and relations into the same continuous vector space. In this model, both entity and relation embeddings are learned by taking knowledge graph and plain text into consideration. In experiments, we evaluate the joint learning model on three tasks including entity prediction, relation prediction and relation classification from text. The experiment results show that our model can significantly and consistently improve the performance on the three tasks as compared with other baselines.

연구 동기 및 목표

• 기존 방법들이 표현 학습에서 지식 그래프와 일반 텍스트를 별도로 다루는 데서 비롯하는 한계를 해결하기 위해.
• 구조화된 지식과 비구조화된 텍스트에서 공동으로 학습하여 지식 그래프 보완을 향상시키기 위해.
• 단어, 실체, 관계가 함께 표현되는 통합된 임베딩 공간을 개발하여 더 나은 의미 정렬을 이루기 위해.
• 심층 신경망을 사용해 문장 의미를 인코딩함으로써 복잡한 언어 해석에 의존도를 줄이기 위해.
• 학습 중 지식 그래프 신호를 활용하여 비구조화된 텍스트에서의 관계 분류 성능을 향상시키기 위해.

제안 방법

• 딥 신경망(CNN)을 사용한 텍스트 인코딩을 통해 실체, 관계, 단어를 공유된 연속 벡터 공간에 공동으로 임베딩한다.
• 지식 그래프 임베딩의 기본 모델로 TransE를 활용하며, 관계를 헤드 실체와 테일 실체 간의 이동으로 모델링한다.
• 문장 내 국소적 문법적 및 의미적 패턴을 캡처하기 위해 컨volutional 신경망(CNN)을 사용해 텍스트 관계를 인코딩한다.
• 지식 그래프 트리플과 텍스트 기반 관계 인스턴스 양쪽 모두를 최적화하기 위한 통합 목표 함수를 통해 단어 표현, 실체 임베딩, 관계 벡터를 정렬한다.
• 지식 그래프와 일반 텍스트 양쪽에서의 감독 신호를 통합함으로써 표현 간 상호 보완적 향상을 가능하게 하는 공동 학습 과정을 구현한다.
• 지식 그래프 보완 및 관계 분류 목표를 통합한 손실 함수를 사용해 엔드 투 엔드로 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 텍스트와 지식 그래프의 공동 표현 학습이 지식 그래프 내 실체 예측 성능을 향상시킬 수 있는가?
• RQ2 실체 및 관계 임베딩을 사용할 때 일반 텍스트의 통합이 관계 예측 정확도를 향상시킬 수 있는가?
• RQ3 고립된 텍스트 전용 모델에 비해 공동 학습이 비구조화된 텍스트에서의 관계 분류 성능을 향상시키는가?
• RQ4 지식 그래프 또는 텍스트만을 사용하는 베이스라인과 비교해 공동 모델은 어떻게 성능을 냈는가?
• RQ5 지식과 텍스트를 모두 통합함으로써 노이즈를 줄이고 신규 실체에 대한 일반화 능력을 얼마나 향상시킬 수 있는가?

주요 결과

• 모든 관계 유형에서 관계 예측 성능이 91.6%로 상승하여 TransE의 87.2%를 크게 뛰어넘었다.
• 실체 예측에서 공동 모델은 TransE 대비 성능 향상을 보였으며, 모든 관계 클래스에서 일관된 개선이 관찰되었다.
• 비구조화된 텍스트에서의 관계 분류 작업에서 공동 CNN 모델(Joint-CNN)은 모든 정밀도-재현율 범위에서 독립된 CNN 모델을 능가했다.
• 희귀 관계 유형, 예를 들어 '1대1' 및 '1대다' 유형에서 특히 뚜렷한 성능 향상이 있었으며, 이는 더 나은 일반화 능력을 시사한다.
• 공동 학습 프레임워크는 표현 품질을 향상시켜 관계 추출 및 지식 그래프 보완과 같은 후행 작업에서 더 나은 성능을 이끌어냈다.
• 결과적으로 지식 그래프와 일반 텍스트를 심층 신경망을 통해 통합함으로써 더 정보가 풍부하고 강건한 임베딩을 도출할 수 있음을 입증했다.