[논문 리뷰] Interpreting Knowledge Graph Relation Representation from Word Embeddings

Carl Allen, Ivana Balažević외 1명|arXiv (Cornell University)|2019. 09. 25.

Advanced Graph Neural Networks참고 문헌 27인용 수 7

한 줄 요약

이 논문은 PMI 기반 단어 임베딩의 이론적 통찰을 확장하여 지식 그래프 임베딩의 기하적 관계 조건을 유도하며, 관계의 의미적 구조에 따라 세 가지 유형(R, S, C)으로 관계를 분류한다. 이는 주요 지식 그래프 모델의 성능과 표현 특성이 이러한 조건과 일치함을 보여주며, 단어 임베딩과 지식 그래프 임베딩 간의 공통된 잠재적 기하학적 구조를 드러낸다.

ABSTRACT

Many models learn representations of knowledge graph data by exploiting its low-rank latent structure, encoding known relations between entities and enabling unknown facts to be inferred. To predict whether a relation holds between entities, embeddings are typically compared in the latent space following a relation-specific mapping. Whilst their predictive performance has steadily improved, how such models capture the underlying latent structure of semantic information remains unexplained. Building on recent theoretical understanding of word embeddings, we categorise knowledge graph relations into three types and for each derive explicit requirements of their representations. We show that empirical properties of relation representations and the relative performance of leading knowledge graph representation methods are justified by our analysis.

연구 동기 및 목표

• 최근 링크 예측 기술의 발전에도 불구하고 여전히 잘 설명되지 않은 지식 그래프 관계 표현의 잠재적 의미론적 구조를 이해하기 위해.
• 예를 들어 Word2Vec와 같은 PMI 기반 단어 임베딩의 통찰을 지식 그래프 표현으로 확장하여, 학습된 관계에서 공통적인 기하학적 원리를 규명하기 위해.
• 의미론적 관계 유형에 따라 주어진 관계 표현이 주체에서 목적 엔티티 임베딩으로 어떻게 매핑되어야 할지 명시적이고 이론적으로 기반된 조건을 도출하기 위해.
• 최신 지식 그래프 모델의 성능과 특성이 이 도출된 관계 조건과 얼마나 일치하는지 평가하기 위해.
• 모델 아키텍처 선택을 의미론적 관계 유형과 기하학적 제약 조건과 연결함으로써 향후 지식 그래프 모델 설계를 위한 통합 프레임워크를 제공하기 위해.

제안 방법

• PMI 기반 단어 임베딩의 이론적 분석을 지식 그래프 관계로 확장하여 기하학적 관계 조건을 도출하며, 관련성(R), 대칭성(S), 비대칭성(C)의 세 가지 유형을 식별한다.
• 이전에 유사성, 어휘의 유사성, 어휘 유사성의 유형을 포함하는 단어 임베딩에 의해 인코딩된 것으로 입증된 PMI 행렬 분해의 선형 기하학적 성질을 바탕으로 관계별 매핑을 정의한다.
• 이러한 도출된 조건을 사용하여 주요 링크 예측 모델(예: TransE, DistMult, TuckER, MuRE)의 아키텍처 구성 요소를 분석하며, 점수 함수와 매개변수화 방식이 이론적 조건을 얼마나 충족하는지에 중점을 둔다.
• 순위 기반 평가 지표(MRR, Hits@10 등)와 분류 정확도를 모두 사용하여 모델 성능을 평가하고, 이는 관계 조건 충족도 예측 결과와 비교한다.
• TuckER 및 MuRE와 같은 모델의 관계 행렬 대칭성, 벡터 노름, 고유값 크기 등의 경험적 성질을 분석하여 이론적 예측을 검증한다.
• WN18RR 데이터셋을 사용하여 경험적 검증을 수행하며, 다양한 관계 유형에 대해 대칭성 점수, 벡터 노름, 고유값 프로파일을 측정한다.

실험 결과

연구 질문

• RQ1 PMI 기반 단어 임베딩의 기하학적 구조는 어떻게 확장되어 지식 그래프 관계 표현을 위한 공식적인 조건을 정의할 수 있는가?
• RQ2 유도된 기하학적 조건에 의해 식별된 세 가지 유형의 관계(R, S, C)는 무엇이며, 의미론적 및 구조적 성질에서 어떻게 다를까?
• RQ3 주요 지식 그래프 모델(예: TransE, TuckER)의 아키텍처 설계가 해당 관계 유형에 대해 이론적으로 도출된 관계 조건을 얼마나 충족하는가?
• RQ4 이러한 조건 충족도의 정도가 다양한 모델과 관계 유형 간 링크 예측 성능과 얼마나 상관관계가 있는가?
• RQ5 학습된 관계 표현의 경험적 성질—예를 들어 행렬 대칭성, 벡터 노름, 고유값 크기—는 관계 조건에 기반한 이론적 예측과 일치하는가?

주요 결과

• 이론적 분석은 관계를 관련성(R), 대칭성(S), 비대칭성(C)의 세 가지 유형으로 분류할 수 있으며, 각각 임베딩 공간에서 다른 기하학적 매핑이 필요하다는 것을 드러낸다.
• 특정 관계 유형에 대해 관계 조건을 충족하는 모델은 MRR 및 Hits@10로 측정된 링크 예측 성능에서 유의미하게 높은 성능을 보이며, 성능은 조건 충족도와 강한 상관관계를 보인다.
• TuckER의 관계 행렬은 R 관계 유형에서 높은 대칭성을 보이며, 아키텍처에 추가 성분이 없기 때문에 이를 뒷받침한다. 반면 TransE 및 MuRE는 R 관계 유형에 대해 낮은 노름의 관계 벡터를 학습한다.
• MuRE의 관계 행렬 고유값 크기는 R 관계 유형에서 가장 크며, 이는 강한 관련성 측면을 반영한다. S 및 C 유형에 대해서는 고유값 프로파일이 유의미하게 다르게 나타나, 관련성 강도와 구조의 다양성을 반영한다.
• 추가 성분을 포함하는 모델(예: TransE, MuRE)에서 R 관계 유형에 대해 관계 벡터의 노름이 S 또는 C 유형보다 유의미하게 낮으며, 이는 유사성 관계가 최소한의 덧셈 변환을 필요로 한다는 이론적 예측을 지지한다.
• WN18RR에서의 경험적 결과는 유도된 조건에 맞는 아키텍처를 가진 모델이 순위 및 분류 지표에서 다른 모델보다 뛰어난 성능을 보이며, 이는 이론적 프레임워크의 타당성을 검증한다.