[논문 리뷰] RDF2Vec Light -- A Lightweight Approach for Knowledge Graph Embeddings

Jan Portisch, Michael Hladik외 1명|arXiv (Cornell University)|2020. 09. 16.

Advanced Graph Neural Networks참고 문헌 7인용 수 4

한 줄 요약

RDF2Vec Light는 전체 지식 그래프가 아닌 관심 있는 엔티티의 부분집합에 대해서만 조밀한 벡터 표현을 생성하는 경량 지식 그래프 임베딩 방법이다. 목표 엔티티 주변의 국소적 랜덤 워크를 수행하고 이러한 부분그래프에서만 임베딩을 훈련시음으로써, 전체 그래프 RDF2Vec과 유사한 성능을 달성하면서도 런타임과 하드웨어 요구사항을 수개의 주기로 감소시킨다.

ABSTRACT

Knowledge graph embedding approaches represent nodes and edges of graphs as mathematical vectors. Current approaches focus on embedding complete knowledge graphs, i.e. all nodes and edges. This leads to very high computational requirements on large graphs such as DBpedia or Wikidata. However, for most downstream application scenarios, only a small subset of concepts is of actual interest. In this paper, we present RDF2Vec Light, a lightweight embedding approach based on RDF2Vec which generates vectors for only a subset of entities. To that end, RDF2Vec Light only traverses and processes a subgraph of the knowledge graph. Our method allows the application of embeddings of very large knowledge graphs in scenarios where such embeddings were not possible before due to a significantly lower runtime and significantly reduced hardware requirements.

연구 동기 및 목표

• DBpedia 및 Wikidata와 같은 대규모 그래프에서 전체 지식 그래프 임베딩을 훈련할 때 발생하는 높은 계산 비용과 메모리 오버헤드 문제를 해결하기 위해.
• 분류, 회귀, 유사도 작업과 같은 후행 응용 프로그램이 자원 제약 환경에서 지식 그래프 임베딩을 사용할 수 있도록 하기 위해.
• 전체 그래프에 대한 재훈련 없이도 소규모 작업 지향 엔티티 집합에 대해 고품질의 임베딩을 생성하는 방법을 개발하기 위해.
• 전통적인 RDF2Vec과 경쟁 가능한 성능을 유지하면서도 훈련 시간과 모델 크기를 줄이기 위해.

제안 방법

• 방법은 관심 있는 엔티티 주변에서만 랜덤 워크를 생성하며, 각 단계에서 조상 및 자손 노드를 번갈아 가며 이동하는 이중 방향 워크 전략을 사용한다.
• 각 관심 엔티티에서 워크가 시작되며, 고정된 깊이까지 확장되며, 각 단계에서 들어오는 간선과 나가는 간선 중에서 무작위로 이동 방향을 선택한다.
• 워크 생성 과정은 관심 있는 엔티티와 그들의 접근 가능한 이웃들에 의해 유도된 부분그래프에 국한되며, 전체 지식 그래프를 전부 순회하지 않는다.
• 워크 생성 후, 생성된 워크에 표준 스킵그램 또는 CBOW 훈련을 적용하여 조밀한 벡터 표현을 학습한다.
• 이 방법은 여러 RDF 형식(Turtle, n-triples, RDF/XML, HDT)을 지원하며, 배포를 위한 REST API를 포함한다.
• 구현은 자바와 파이썬으로 제공되며, CPU 및 GPU 추론 모두를 지원한다.

실험 결과

연구 질문

• RQ1 전체 그래프가 아닌 일부 엔티티에 대해서만 지식 그래프 임베딩을 효과적으로 학습할 수 있을까, 성능 손실가지 않도록?
• RQ2 분류 및 회귀와 같은 후행 작업에서 국소적 임베딩 방법의 성능이 전체 그래프 RDF2Vec과 비교해 어떻게 되는가?
• RQ3 엔티티 연결성(링크도)과 부분그래프 동질성은 국소적 임베딩의 성능에 어떤 영향을 미치는가?
• RQ4 관련 부분그래프에서만 훈련함으로써 계산 비용과 모델 크기를 얼마나 줄일 수 있는가?
• RQ5 이중 방향 워크 전략은 단방향 워크에 비해 관심 있는 엔티티의 컨텍스트 표현을 어떻게 향상시키는가?

주요 결과

• RDF2Vec Light는 분류 및 회귀 작업에서 전통적인 RDF2Vec과 유사한 성능을 달성하면서도 훈련 시간과 메모리 사용량을 극도로 줄였다.
• 문서 및 엔티티 유사도 작업에서는 CBOW 변형에서 전통적인 RDF2Vec과 유사한 성능을 보였지만, SG 변형에서는 특히 조밀하거나 이질적인 부분그래프에서 성능이 열 劣했다.
• RDF2Vec Light의 성능은 부분그래프의 밀도와 강하게 상관관계가 있다: 더 높은 밀도(적은 헤드 엔티티, 더 균일한 집합)일수록 더 좋은 결과를 얻는다.
• 런타임은 관심 있는 엔티티 수에 비례하여 선형적으로 증가하며, 일반 하드웨어에서 약 10개의 엔티티당 약 1분이 소요되며, 전체 그래프 훈련에 비해 수 일에서 수 주로 단축된다.
• 모델 크기는 기존의 수 기 간바이트가 필요한 모델에 비해 극적으로 감소하여 일반적으로 몇 킬로바이트 수준이 된다.
• 이 방법은 이전에는 불가능했던 전체 그래프 임베딩이 어려웠던 저자원 환경에서 지식 그래프 임베딩의 실용적 배포를 가능하게 한다.