[논문 리뷰] SSP: Semantic Space Projection for Knowledge Graph Embedding with Text Descriptions

Han Xiao, Minlie Huang외 1명|arXiv (Cornell University)|2016. 04. 17.

Topic Modeling인용 수 117

한 줄 요약

SSP는 상징적 삼중과 텍스트 설명으로부터 공동으로 학습하고 삼중 손실을 의미적 하이퍼플레인에 투사하여 기존 방법들보다 지식 그래프 완성 및 엔티티 분류를 향상시킨다.

ABSTRACT

Knowledge representation is an important, long-history topic in AI, and there have been a large amount of work for knowledge graph embedding which projects symbolic entities and relations into low-dimensional, real-valued vector space. However, most embedding methods merely concentrate on data fitting and ignore the explicit semantic expression, leading to uninterpretable representations. Thus, traditional embedding methods have limited potentials for many applications such as question answering, and entity classification. To this end, this paper proposes a semantic representation method for knowledge graph extbf{(KSR)}, which imposes a two-level hierarchical generative process that globally extracts many aspects and then locally assigns a specific category in each aspect for every triple. Since both aspects and categories are semantics-relevant, the collection of categories in each aspect is treated as the semantic representation of this triple. Extensive experiments justify our model outperforms other state-of-the-art baselines substantially.

연구 동기 및 목표

• KG 임베딩을 향상시키기 위해 엔티티 및 관계의 텍스트 설명을 활용하는 것을 동기화한다.
• 의미 공간 투사(SSP) 모델을 제안하여 삼중과 텍스트를 의미 하이퍼플레인을 통해 연결한다.
• 손실 벡터를 의미 하위공간에 투사하는 것이 더 나은 판별력과 의미론적 관련성을 산출함을 보인다.
• 벤치마크 데이터셋 전반에서 KG 완성 및 엔티티 분류의 개선을 입증한다.

제안 방법

• 트랜스E 스타일 임베딩에서 삼중을 손실 벡터 e = h + r − t로 표현한다.
• 텍스트로부터 도출된 의미 벡터 s를 사용하여 의미 하이퍼플레인을 정의한다 (s = S(sh, st)).
• e를 하이퍼플레인에 투사하여 e − s^T e s를 얻고, f_r(h,t) = −λ ||e − s^T e s||^2 + ||e||^2 로 점수를 매긴다.
• 텍스트 설명으로부터 Topic 모델(Std) 또는 임베딩과의 공동 학습(Joint)을 사용하여 의미 벡터를 생성한다.
• S(sh, st) = (sh + st) / ||sh + st||^2 로 머리(head)와 꼬리(tail)의 의미 벡터를 구성하여 하이퍼플레인의 법선을 형성한다.
• 임베딩에 대한 순위 기반 힌지 손실과 Non-negative Matrix Factorization(NMF) 토픽 모델링의 토픽 손실을 함께 학습하고 μ로 이를 균형 조절한다.
• 음수 삼중에 대한 Bernoulli 샘플링과 최적화에 SGD를 사용한다.
• 하이퍼파라미터를 설정한다: d ≈ 100, γ, λ ≈ 0.2–0.6 데이터셋에 따라 달라지며, μ는 공동 학습을 제어한다.

실험 결과

연구 질문

• RQ1 텍스트 설명을 상징적 삼중과 효과적으로 통합하여 임베딩을 의미 하위공간으로 투사할 수 있는가?
• RQ2 SSP가 텍스트 기반 및 삼중만 기반의 기준선을 넘어 지식 그래프 완성(링크 예측) 및 엔티티 분류를 개선하는가?
• RQ3 Std(토픽 기반)와 Joint(텍스트와 삼중을 함께 학습) 설정이 성능 및 수렴 측면에서 어떻게 비교되는가?
• RQ4 의미 하이퍼플레인을 통한 강한 상관관계 모형화가 예측의 판별성과 정밀도에 어떤 역할을 하는가?

주요 결과

데이터셋 / 모델	평균 랭크	HITS@10
FB15K - TransE	210	119
FB15K - TransH	212	87
FB15K - Jointly	167	39
FB15K - DKRL(BOW)	200	113
FB15K - DKRL(ALL)	181	93
FB15K - SSP (Std.)	213	113
FB15K - SSP (Joint)	188	85
WN18 - TransE	263	251
WN18 - TransH	401	338
WN18 - SSP (Std.)	312	193
WN18 - SSP (Joint)	168	156

• SSP는 벤치마크 데이터셋 전반에서 지식 그래프 완성 및 엔티티 분류에서 기준선보다 일관되게 우수한 성능을 보인다.
• SSP(Joint)는 SSP(Std.)보다 더 큰 개선을 보이며, 텍스트 의미를 삼중과 함께 공동으로 학습하는 이점을 강조한다.
• 의미 하이퍼플레인을 통한 강한 텍스트–삼중 상관관계 모델링이 1차 텍스트–삼중 상호작용보다 더 나은 판별력을 제공한다.
• SSP는 FB15K 및 WN18에서 랭킹 기반 지표(Mean Rank, HITS@10)를 크게 개선하고, FB15K/FB20K에서 엔티티 분류의 MAP를 더 높게 달성한다.
• TransE와 비교하여 의미 투사로 인한 현저한 이점을 보이고, 강한 상관관계를 모델링함으로써 DKRL 계열을 능가한다.