[논문 리뷰] Walk this Way! Entity Walks and Property Walks for RDF2vec

Jan Portisch, Heiko Paulheim|arXiv (Cornell University)|2022. 04. 05.

Semantic Web and Ontologies인용 수 5

한 줄 요약

이 논문은 지식 그래프 임베딩에서 구조적 유사성과 맥락적 관련성을 분리하기 위해 RDF2vec에 대해 두 가지 새로운 워크 전략인 e-워크(엔티티 워크)와 p-워크(프로퍼티 워크)를 도입한다. 초점 엔티티 주변의 엔티티 시퀀스 또는 술어를 분리함으로써, 이 방법은 유사성(예: p-워크) 또는 관련성(예: e-워크)을 더 잘 포착하는 임베딩을 가능하게 하며, 특히 엔티티 관련성 작업에서는 e-워크가 다른 방법들을 압도적으로 승리하고, 문서 유사성 작업에서는 p-워크가 순서 인식 학습과 조합될 경우 특히 뛰어난 성능을 보인다.

ABSTRACT

RDF2vec is a knowledge graph embedding mechanism which first extracts sequences from knowledge graphs by performing random walks, then feeds those into the word embedding algorithm word2vec for computing vector representations for entities. In this poster, we introduce two new flavors of walk extraction coined e-walks and p-walks, which put an emphasis on the structure or the neighborhood of an entity respectively, and thereby allow for creating embeddings which focus on similarity or relatedness. By combining the walk strategies with order-aware and classic RDF2vec, as well as CBOW and skip-gram word2vec embeddings, we conduct a preliminary evaluation with a total of 12 RDF2vec variants.

연구 동기 및 목표

• RDF2vec이 유사성과 관련성을 혼동하는 한계를 해결하기 위해 전문화된 워크 전략을 도입한다.
• 구조적 유사성(예: p-워크) 또는 맥락적 관련성(예: e-워크)을 강조하는 임베딩을 가능하게 한다.
• 순서 인식 학습과 기존 워드2vec 학습을 조합한 워크 변형의 성능을 평가한다.
• e-워크와 p-워크가 특정 의미 관계를 더 잘 반영하는 임베딩을 생성할 수 있는지 확인한다.

제안 방법

• e-워크는 랜덤 워크에서 유도된 엔티티 시퀀스로, 초점 엔티티와 그 이웃들만 유지하여 맥락적 관련성을 강조한다.
• p-워크는 초점 엔티티와 연결된 술어(관계)들의 시퀀스로, 구조적 유사성을 강조한다.
• 모든 워크는 고정된 4단계의 깊이로 추출되며, 엔티티당 500개의 워크를 생성하고, 이 시퀀스들은 CBOW 또는 스킵그램 워드2vec 모델에 입력된다.
• 기존 및 순서 인식 워드2vec 변형을 모두 사용하며, 임베딩은 200차원으로 학습된다.
• 구현에는 jRDF2Vec 프레임워크를 사용하였고, 모든 모델는 KGvec2go를 통해 공개되어 있다.
• 평가에는 분류, 클러스터링, 회귀, 유추, 엔티티 관련성, 문서 유사성 등을 포함한 20개의 표준화된 벤치마크 작업을 사용한다.

실험 결과

연구 질문

• RQ1 e-워크와 p-워크는 기존 RDF2vec에 비해 각각 관련성과 유사성을 더 잘 반영하는 임베딩을 생성할 수 있는가?
• RQ2 e-워크 또는 p-워크를 순서 인식 워드2vec과 조합할 경우 하류 작업 성능이 향상되는가?
• RQ3 어떤 작업에서 e-워크가 기존 워크를 능가하고, 어떤 작업에서 p-워크가 우월한 성능을 보이는가?
• RQ4 유사성과 관련성을 모두 요구하는 의미 유추 작업에서 다양한 워크 전략은 어떻게 비교되는가?

주요 결과

• e-RDF2vec는 엔티티 관련성 작업에서 최고 성능을 기록하였으며, 켄달 타우 값이 0.832로 기존 RDF2vec(0.747)를 크게 앞섰다.
• p-RDF2vec는 문서 유사성 작업에서 최고의 조화 평균 점수(0.382)를 기록하여 구조적 유사성을 더 잘 포착함을 시사한다.
• 의미 유추 작업에서는 기존 RDF2vec가 스킵그램과 순서 인식 학습을 조합한 경우가 가장 우수한 성능(정확도 0.905)을 보였으며, e-워크와 p-워크는 각각 한쪽 축에 집중함으로써 예상대로 성능이 열등했다.
• 순서 인식 학습은 모든 워크 유형에서 기존 학습을 항상 능가했으며, 특히 e-워크와 p-워크에서는 기존 RDF2vec보다 약간 더 강한 효과를 보였다.
• 스킵그램 변형은 모든 설정에서 CBOW를 능가했으며, 특히 관련성 및 클러스터링 작업에서 두드러진 성능 향상을 보였다.
• 20개 작업 중 12개에서 기존 RDF2vec가 최고 성능을 기록했지만, e-워크와 p-워크는 각각 관련성 및 구조적 유사성 작업에서 뚜렷한 전문화된 성능을 보였다.