[논문 리뷰] Knowledge Graph Representation with Jointly Structural and Textual Encoding

Jiacheng Xu, Kan Chen외 2명|arXiv (Cornell University)|2016. 11. 26.

Advanced Graph Neural Networks참고 문헌 20인용 수 16

한 줄 요약

이 논문은 지식 그래프 내의 구조적 정보와 텍스트 정보를 게이트형 융합 메커니즘과 주의 기반 LSTM을 사용하여 공동으로 인코딩하는 딥러닝 프레임워크를 제안한다. 모델은 링크 예측과 삼중항 분류에서 최신 기술을 초월하여 WN18에서 97.8%의 정확도와 FB15K에서 91.5%의 정확도를 기록하며, 구조적 신호와 텍스트 신호를 동적으로 균형 잡는 방식으로 희소한 엔티티에 대해 뛰어난 성능을 보여준다.

ABSTRACT

The objective of knowledge graph embedding is to encode both entities and relations of knowledge graphs into continuous low-dimensional vector spaces. Previously, most works focused on symbolic representation of knowledge graph with structure information, which can not handle new entities or entities with few facts well. In this paper, we propose a novel deep architecture to utilize both structural and textual information of entities. Specifically, we introduce three neural models to encode the valuable information from text description of entity, among which an attentive model can select related information as needed. Then, a gating mechanism is applied to integrate representations of structure and text into a unified architecture. Experiments show that our models outperform baseline by margin on link prediction and triplet classification tasks. Source codes of this paper will be available on Github.

연구 동기 및 목표

• 구조적 사실이 충분하지 않은 저빈도 또는 희소한 엔티티를 지식 그래프에서 표현하는 데 도전하는 것.
• 엔티티의 구조적 표현과 텍스트 표현을 통합된, 적응형 벡터 공간에 통합하는 것.
• 엔티티 빈도와 관계 맥락에 기반해 구조적 정보와 텍스트 정보의 기여도를 동적으로 균형 잡는 메커니즘을 개발하는 것.
• 문서적 설명을 풍부하게 활용하면서도 의미적 일관성을 유지하는 방식으로 지식 그래프 보완 작업을 향상시키는 것.

제안 방법

• 구조적 임베딩(TransE 기반)과 텍스트 임베딩을 융합하기 위해 게이트형 융합 메커니즘을 사용하여 두 소스 간의 동적 균형을 학습하는 것.
• 엔티티 설명에서 관계 기반 정보를 선택적으로 추출하기 위해 주의 기반 LSTM 인코더를 적용하여 관련성과 맥락 인식 능력을 향상시키는 것.
• 기본 텍스트 인코딩을 위해 연속형 백오프 오브 워즈(CBOW)와 컨volutional 신경망(CNN)을 사용하며, 더 나은 맥락 모델링을 위해 개선된 주의-LSTM 변종을 적용하는 것.
• 최종 엔티티 표현이 학습 가능한 게이트를 통해 구조적 임베딩과 텍스트 임베딩의 가중합으로 이루어지는 TransE 기반 점수 함수를 정의하는 것.
• 링크 예측과 삼중항 분류를 동시에 최적화하는 연속 손실 함수를 사용하여 모델을 엔드 투 엔드로 훈련하는 것.
• 삼중항 분류 성능 평가를 위해 관계별로 임계값 기반 분류 전략을 사용하는 것.

실험 결과

연구 질문

• RQ1 구조적 정보와 텍스트 정보를 공동으로 학습함으로써 희소한 엔티티에 대한 지식 그래프 임베딩 성능을 향상시킬 수 있는가?
• RQ2 신경망 모델이 엔티티 빈도와 관계 맥락에 기반해 구조적 정보와 텍스트 정보의 기여도를 어떻게 동적으로 균형 잡을 수 있는가?
• RQ3 엔티티 설명에서 관계 기반 콘텐츠를 선택적으로 추출하는 주의 메커니즘이 고정된 인코딩 방법보다 더 높은 성능을 낼 수 있는가?
• RQ4 게이트형 융합 메커니즘이 고정 가중치 또는 별도 최적화 전략보다 구조적 및 텍스트 신호를 융합하는 데 더 뛰어난 성능을 보일 수 있는가?

주요 결과

• 제안된 모델인 'Jointly(A-LSTM)'는 WN18 삼중항 분류 벤치마크에서 97.8%의 정확도를 기록하며, 기준 모델 및 최신 기술을 크게 앞서는 성능을 보였다.
• 더 큰 FB15K 데이터셋에서는 삼중항 분류에서 91.5%의 정확도를 달성하여 기존 접근 방식에 비해 상당한 향상을 이룬다.
• 게이트 메커니즘이 저빈도 엔티티에 대해 텍스트 표현에 더 높은 중요도를 할당함으로써 지식 기반의 희소성 문제를 완화하는 데 기여함을 확인하였다.
• 관계 수가 많은 FB15K에서 주의 메커니즘이 성능 향상에 기여함을 확인하여, 복잡하고 다양한 관계 맥락에서의 가치를 입증하였다.
• 모델은 모든 메트릭에서 기준 모델을 일관되게 능가하여, 적응형 게이팅을 통한 공동 인코딩의 효과성을 입증하였다.