[논문 리뷰] Semantic Triple Encoder for Fast Open-Set Link Prediction.

Bo Wang, Tao Shen외 3명|arXiv (Cornell University)|2020. 04. 30.

Advanced Graph Neural Networks참고 문헌 55인용 수 5

한 줄 요약

이 논문은 시amese 유사 트랜스포머 아키텍처를 통해 엔티티와 관계의 문맥적 의미를 모델링함으로써 개방형 링크 예측 성능을 향상시키는 의미 삼중항 인코더를 제안한다. 삼중항을 헤드+관계 및 테일 엔티티의 문맥으로 분할함으로써, 이전의 문맥 기반 방법에 비해 최대 두 개의 지수 차수 낮은 추론 비용으로 최신 기술 성능을 달성한다.

ABSTRACT

We improve both the open-set generalization and efficiency of link prediction on knowledge graphs by leveraging the contexts of entities and relations in a novel semantic triple encoder. Most previous methods, e.g., translation-based and GCN-based embedding approaches, were built upon graph embedding models. They simply treat the entities/relations as a closed set of graph nodes regardless of their context semantics, which however cannot provide critical information for the generalization to unseen entities/relations. In this paper, we partition each graph triple and develop a novel context-based encoder that separately maps each part and its context into a latent semantic space. We train this semantic triple encoder by optimizing two objectives specifically designed for link prediction. In particular, (1) We split each triple into two parts, i.e., i) head entity plus relation and ii) tail entity, process both contexts separately by a Transformer encoder, and combine the encoding outputs to derive the prediction. This Siamese-like architecture avoids the combinatorial explosion of candidate triples and significantly improves the efficiency, especially during inference; (2) We cover the contextualized semantics of the triples in the encoder so it can handle unseen entities during inference, which promisingly improves the generalization ability; (3) We train the model by optimizing two complementary objectives defined on the triple, i.e., classification and contrastive losses, for natural and reliable ranking scores during inference. In experiments, we achieve the state-of-the-art or competitive performance on three popular link prediction benchmarks. In addition, we empirically reduce the inference costs by one or two orders of magnitude compared to a recent context-based encoding approach and meanwhile keep a superior quality of prediction.

연구 동기 및 목표

• 기존 그래프 임베딩 모델이 엔티티와 관계를 닫힌 집합으로 간주하여 일반화에 필수적인 문맥적 의미를 忽略하는 한계를 해결한다.
• 의미 삼중항의 문맥적 의미를 인코딩하여 개방형 지식 그래프에서 새로운 엔티티와 관계로의 일반화를 향상시킨다.
• 시amese 인코더 설계를 통해 후보 삼중항의 조합 폭발을 방지함으로써 추론 효율성을 향상시킨다.
• 분류 및 대비 손실이라는 이중 목적함수를 최적화하여 링크 예측에서 강력하고 신뢰할 수 있는 순위 점수를 확보한다.

제안 방법

• 각 삼중항을 두 부분으로 분할한다: (i) 헤드 엔티티와 관계, (ii) 테일 엔티티이며, 각 부분을 별도로 트랜스포머 인코더로 인코딩한다.
• 두 부분이 독립적으로 인코딩되고, 최종 예측을 위해 표현이 연결되는 시amese 유사 아키텍처를 적용한다.
• 예측된 양성/부정성 링크를 위한 분류 손실과 의미적 분리 향상을 위한 대비 손실을 함께 사용하여 모델을 훈련한다.
• 엔티티와 관계의 문맥 기반 표현을 활용하여 추론 시 새로운 엔티티로의 일반화를 가능하게 한다.
• 두 부분에 동일한 인코더 헤드를 사용하여 파라미터 효율성과 일관된 표현 학습을 보장한다.
• 두 부분의 인코딩 표현을 하나의 벡터로 통합하여 링크 예측의 점수를 산출한다.

실험 결과

연구 질문

• RQ1 문맥 인지 인코더 아키텍처는 개방형 링크 예측에서 새로운 엔티티와 관계로의 일반화를 향상시킬 수 있는가?
• RQ2 의미 삼중항 인코더의 시amese 유사 설계는 기존 방법에 비해 추론 비용을 어떻게 감소시키는가?
• RQ3 분류 및 대비 손실이라는 이중 훈련 목적함수는 순위 품질과 강건성에 어느 정도 기여하는가?
• RQ4 모델는 추론 시간을 크게 줄이면서도 높은 예측 정확도를 유지할 수 있는가?

주요 결과

• 제안된 모델은 세 가지 표준 링크 예측 벤치마크에서 최신 기술 성능 또는 경쟁 가능한 성능을 달성한다.
• 최근의 문맥 기반 인코딩 접근법에 비해 추론 비용이 1~2개 지수 차수 낮아진다.
• 문맥 기반 인코딩 메커니즘 덕분에 새로운 엔티티와 관계로의 일반화가 효과적으로 이루어진다.
• 분류 손실과 대비 손실의 조합은 추론 시 더 신뢰할 수 있고 자연스러운 순위 점수를 도출한다.
• 시amese 아키텍처는 후보 삼중항의 조합 폭발을 방지하여 추론 효율성을 크게 향상시킨다.