[논문 리뷰] InGram: Inductive Knowledge Graph Embedding via Relation Graphs
InGram은 관계-그래프 기반의 집계를 학습한 뒤 추론 시 재훈련 없이 적용하여 새로운 관계와 새로운 엔터티에 일반화하는 귀납적 지식 그래프 임베딩을 제시합니다.
Inductive knowledge graph completion has been considered as the task of predicting missing triplets between new entities that are not observed during training. While most inductive knowledge graph completion methods assume that all entities can be new, they do not allow new relations to appear at inference time. This restriction prohibits the existing methods from appropriately handling real-world knowledge graphs where new entities accompany new relations. In this paper, we propose an INductive knowledge GRAph eMbedding method, InGram, that can generate embeddings of new relations as well as new entities at inference time. Given a knowledge graph, we define a relation graph as a weighted graph consisting of relations and the affinity weights between them. Based on the relation graph and the original knowledge graph, InGram learns how to aggregate neighboring embeddings to generate relation and entity embeddings using an attention mechanism. Experimental results show that InGram outperforms 14 different state-of-the-art methods on varied inductive learning scenarios.
연구 동기 및 목표
- 새로운 관계가 추론 시에 나타날 수 있는 실제 세계의 귀납적 지식 그래프 보완을 동기로 삼습니다.
- 관계 간 친화성을 포착하고 관계 수준의 집계를 가능하게 하는 관계 그래프를 정의합니다.
- 이웃 집계로 관계와 엔티티 임베딩을 함께 학습하는 귀납적 임베딩 방법을 개발합니다.
- 미 unseen 그래프에 대한 일반화를 향상시키기 위해 동적 피처 분할과 무작위 초기화를 사용해 학습합니다.
- 전적으로 새로운 관계와 엔터티를 포함하는 다양한 귀납 시나리오에서 강력한 실험적 성능을 보여줍니다.
제안 방법
- 노드가 관계이고 간선 가중치가 관계 친화성을 인코딩하는 관계 그래프를 정의합니다.
- L층에서 관계 그래프의 이웃에 대한 주의 기반 집계를 사용해 관계 표현을 업데이트합니다.
- 관계 인식 주의(attention)를 이용해 이웃, 이들과 연결된 관계, 자기 임베딩을 모아 엔터티 표현을 업데이트합니다.
- 학습된 관계 및 엔터티 임베딩을 사용한 DistMult 스타일의 점수 함수 f(v_i, r_k, v_j)로 관계-엔티비터 상호작용을 모델링합니다.
- 훈련 삼항항에 대해 마진 기반의 순위 손실을 사용하고, 일반화를 개선하기 위해 동적 재분할 및 무작위 초기화를 employed합니다.
- 추론 시에는 학습된 주의 매개변수와 관계-그래프 구조에 따라 이웃을 집계해 새로운 관계와 엔티티에 대한 임베딩을 생성합니다.
실험 결과
연구 질문
- RQ1완전히 새로운 관계에 대한 임베딩을 재훈련 없이 추론 시에 생성할 수 있는가?
- RQ2관계 그래프 기반의 집계가 다양한 귀납 시나리오에서 미확인 관계와 엔터티에 지식을 얼마나 효과적으로 전달하는가?
- RQ3관계 수준과 엔터티 수준의 집계를 함께 모델링하는 것이 기존 방법에 비해 귀납적 링크 예측 성능을 향상시키는가?
- RQ4동적 피처 분할과 무작위 초기화가 추론 그래프 일반화에 미치는 영향은 무엇인가?
- RQ5다양한 비율의 새로운 관계를 가진 데이터셋들에서 InGram이 최첨단 귀납 KG 보완 방법들에 비해 어떻게 성능하는가?
주요 결과
- InGram은 서로 다른 새로운 관계 비율에 대해 12개 데이터셋에서 14개의 베이스라인을 크게 능가합니다.
- 모델은 모든 관계가 새로운 상황(귀납적 관계 설정)에서도 강한 성능을 유지하고, 알려진 관계와 새로운 관계의 혼합이 있을 때도 잘 작동합니다(세미-귀납적).
- 관계 그래프 기반의 집계는 알려진 관계와의 친화성을 활용해 보이지 않는 관계의 임베딩을 효과적으로 가능하게 합니다.
- 엔터티 임베딩은 이웃 관계 및 연결된 엔터티에 주의를 기울여 예측 점수를 개선합니다.
- 무작위 초기화가 동적 학습 시 분할과 함께 일반화에 도움을 주며, 다양한 제거 설정에서도 유익합니다.
- NL, WK, FB 벤치마크에서 InGram은 MR, MRR, Hit@K 지표에서 경쟁 방법들에 비해 현저한 이점을 보입니다.
이 논문 읽기
누빈트 뷰어에서 원문을 열고, 읽으면서 궁금한 곳을 바로 물어보세요.
누빈트에서 이 논문 읽기이 리뷰는 AI가 논문 원문을 바탕으로 만들었습니다. 인용하기 전에 원문을 확인해 주세요.