[논문 리뷰] KGvec2go -- Knowledge Graph Embeddings as a Service

Jan Portisch, Michael Hladik외 1명|arXiv (Cornell University)|2020. 03. 09.

Advanced Graph Neural Networks참고 문헌 27인용 수 7

한 줄 요약

KGvec2go는 RDF2Vec를 사용하여 DBpedia, WebIsALOD, Wiktionary 및 WordNet와 같은 네 가지 주요 지식 그래프에서 사전에 훈련된 지식 그래프 임베딩에 실시간으로 접근할 수 있도록 해주는 경량 웹 API 서비스입니다. 이 서비스는 후행 응용 프로그램에서 의미 벡터를 효율적으로, 자원을 적게 소비하여 사용할 수 있도록 하며, 평가 결과 다수의 지식 그래프에서의 임베딩을 조합하면 의미 유사도 벤치마크에서 개별 모델보다 우수한 성능을 낼 수 있음을 보여줍니다.

ABSTRACT

In this paper, we present KGvec2go, a Web API for accessing and consuming graph embeddings in a light-weight fashion in downstream applications. Currently, we serve pre-trained embeddings for four knowledge graphs. We introduce the service and its usage, and we show further that the trained models have semantic value by evaluating them on multiple semantic benchmarks. The evaluation also reveals that the combination of multiple models can lead to a better outcome than the best individual model.

연구 동기 및 목표

• 전체 모델 다운로드나 로컬 훈련 없이도 사전에 훈련된 지식 그래프 임베딩에 효율적이고 실시간으로 접근할 수 있도록 하는 것.
• 모바일 장치나 데이터 과학 워크플로우와 같은 자원 제약 환경에서 지식 그래프 임베딩을 가벼운 방식으로 통합하는 데 지원하는 것.
• 표준 벤치마크에서 다양한 지식 그래프에서 유래한 임베딩의 의미 품질을 평가하는 것.
• 다양한 지식 그래프에서 유래한 임베딩을 조합하여 의미 작업에서 성능을 향상시킬 수 있는 잠재력을 탐색하는 것.
• 연구자와 실무자들이 지식 그래프 임베딩을 서비스로서 소비할 수 있도록 확장 가능하고 접근 가능한 서비스를 제공하는 것.

제안 방법

• DBpedia, WebIsALOD, Wiktionary 및 WordNet와 같은 네 가지 다른 지식 그래프에서 RDF2Vec 알고리즘을 사용해 지식 그래프 임베딩을 훈련하는 것.
• 각 노드에서 데이터 유형 속성을 제외한 문장 유사 워크를 생성하여 word2vec 훈련을 위한 코퍼스를 구성하는 것.
• word2vec의 연속적 백터 모델(CBOW)과 스킵그램 모델을 적용하여 엔티티와 관계에 대한 조밀한 벡터 표현을 학습하는 것.
• 특정 개념에 대한 벡터 표현과 유사도 점수를 쿼리할 수 있도록 허용하는 RESTful 웹 API를 통해 훈련된 임베딩을 노출하는 것.
• 가벼운 HTTP 요청을 통해 개별 개념 조회와 쌍별 유사도 계산을 모두 지원하는 것.
• 다양한 지식 그래프 임베딩의 유사도 점수를 가중 평균을 사용해 조합하여 벤치마크 작업에서 성능 향상을 이루는 것.

실험 결과

연구 질문

• RQ1 웹 API 서비스가 전체 모델 다운로드 없이도 사전에 훈련된 지식 그래프 임베딩에 효율적이고 실시간으로 접근할 수 있는가?
• RQ2 다양한 지식 그래프에서 훈련된 임베딩—정제된 것에서부터 자동 생성된 것까지—는 의미 정보를 잘 담고 있는가?
• RQ3 여러 지식 그래프에서 유래한 임베딩을 조합하면 의미 유사도 벤치마크에서 가장 우수한 개별 모델보다 성능이 뛰어나게 되는가?
• RQ4 표준 의미 평가 데이터셋에서 서로 다른 지식 그래프에서 유래한 임베딩의 성능는 어떻게 비교되는가?
• RQ5 가벼운 API 기반 접근 방식이 자원이 제한된 환경이나 모바일 환경에서 실세계 응용 프로그램을 얼마나 잘 지원할 수 있는가?

주요 결과

• KGvec2go API는 간단한 HTTP 요청을 통해 사전에 훈련된 지식 그래프 임베딩에 실시간으로 가벼운 방식으로 접근할 수 있도록 성공적으로 제공하며, 계산 및 메모리 오버헤드를 줄였습니다.
• DBpedia, WebIsALOD, Wiktionary 및 WordNet와 같은 네 가지 지식 그래프의 임베딩 모두 표준 벤치마크에서 뚜렷한 순위 상관관계를 보이며 의미적으로 관련성이 있음을 입증했습니다.
• WS-353 벤치마크에서 조합된 임베딩 모델은 스피어만 상관계수 ρ = 0.678를 기록했으며, 가장 우수한 개별 모델(ρ = 0.571)을 초월했습니다.
• MEN 벤치마크에서 조합된 모델은 ρ = 0.230을 기록했고, 가장 우수한 개별 모델(ρ = 0.207)을 뛰어넘어 앙상블 조합을 통한 성능 향상이 확인되었습니다.
• SimLex-999에서 조합된 모델은 ρ = 0.2815를 기록했으며, 가장 우수한 개별 모델(WordNet, ρ = 0.2870)과 매우 유사한 성능을 보여, 다양한 유사도 작업에 대한 강력한 일반화 능력을 입증했습니다.
• 결과는 임베딩에서 관련성은 유사성보다 더 잘 포착되고 있음을 시사하며, 이는 유사성 전용 훈련 목적이 없기 때문에 예상되는 바입니다.