[논문 리뷰] Complex and Holographic Embeddings of Knowledge Graphs: A Comparison

Théo Trouillon, Maximilian Nickel|arXiv (Cornell University)|2017. 07. 05.

Advanced Graph Neural Networks참고 문헌 11인용 수 22

한 줄 요약

이 논문은 상태기반 지식 그래프 임베딩 모델인 ComplEx와 HolE를 비교하여, 푸리에 변환 성질을 통해 그 점수 함수가 수학적으로 동일하다는 것을 입증한다. 이론적으로 동일한 성능을 보이지만, 손실 함수의 차이로 인해 실제 실험 결과에 차이가 발생하며, ComplEx는 복소수 표현 방식 덕분에 대칭/반대칭 관계를 처리할 때 계산상의 이점이 있다.

ABSTRACT

Embeddings of knowledge graphs have received significant attention due to their excellent performance for tasks like link prediction and entity resolution. In this short paper, we are providing a comparison of two state-of-the-art knowledge graph embeddings for which their equivalence has recently been established, i.e., ComplEx and HolE [Nickel, Rosasco, and Poggio, 2016; Trouillon et al., 2016; Hayashi and Shimbo, 2017]. First, we briefly review both models and discuss how their scoring functions are equivalent. We then analyze the discrepancy of results reported in the original articles, and show experimentally that they are likely due to the use of different loss functions. In further experiments, we evaluate the ability of both models to embed symmetric and antisymmetric patterns. Finally, we discuss advantages and disadvantages of both models and under which conditions one would be preferable to the other.

연구 동기 및 목표

• 점수 함수에서 이미 알려진 등가성에도 불구하고, ComplEx와 HolE 두 주요 지식 그래프 임베딩 모델을 비교하는 것.
• 초기 연구에서 갈리게 보고된 경험적 결과의 원인을 분석하여, 손실 함수의 차이에서 기인함을 밝혀내는 것.
• 지식 그래프에서 대칭 및 반대칭 관계 패턴을 모델링하는 데 두 모델이 얼마나 잘 작동하는지 평가하는 것.
• 최적화, 메모리 사용량, 표현력 측면에서 ComplEx와 HolE 간 실질적 성과를 분석하는 것.

제안 방법

• 논문은 파르세발 정리와 이산 푸리에 변환(DFT)을 사용하여 ComplEx와 HolE의 수학적 동등성을 유도하며, 점수 함수가 상수 인자 외에는 동일하다는 것을 보여준다.
• HolE의 원형 상관관계를 역 DFT와 복소수 켤라위션을 사용하여 재구성하여, ComplEx의 복소수 임베딩 삼중선형 곱과 일치시킨다.
• 분석 결과, 실수형 HolE 임베딩은 DFT를 통해 복소수 벡터로 매핑되며, 대칭 조건 하에서는 ComplEx 임베딩의 구조와 일치함을 확인한다.
• 저자들은 등가인 복소수 임베딩이 등가 실수 임베딩의 크기의 절반일 뿐만 아니라, 복소수 산술로 인해 매 차원당 두 배의 메모리가 필요하여 동일한 메모리 복잡도를 유지함을 보여준다.
• 실험은 손실 함수의 영향을 분리하기 위해 통제된 설정에서 대칭 및 반대칭 관계에서의 모델 성능을 비교한다.
• 연구는 음성 샘플링을 사용하고, 동일한 학습 프rotocol 하에서 링크 예측 성능을 평가하여 실질적 차이를 분석한다.

실험 결과

연구 질문

• RQ1 ComplEx와 HolE의 점수 함수는 진정으로 동일한가? 만약 그렇다면 어떤 수학적 조건에서 성립하는가?
• RQ2 이론적으로 동등한데도 불구하고, 초기 연구에서 갈린 경험적 결과는 왜 발생했는가?
• RQ3 ComplEx와 HolE는 지식 그래프에서 대칭 관계와 반대칭 관계 패턴에서 어떻게 성능을 내는가?
• RQ4 지식 그래프 표현에서 복소수 임베딩과 실수형 임베딩을 사용할 때 실질적 이점과 단점은 무엇인가?

주요 결과

• Parseval의 정리와 DFT 성질을 사용하여 증명한 결과, ComplEx와 HolE의 점수 함수는 상수 인자 외에는 수학적으로 동일하다.
• 보고된 결과의 괴리 원인은 모델의 표현 능력이나 아키텍처의 차이가 아니라 주로 다른 손실 함수 사용에서 기인한다.
• ComplEx는 복소수 켤라위션 표현 방식 덕분에 반대칭 관계를 더 뛰어난 표현력으로 모델링할 수 있으며, 이는 방향성 패턴을 자연스럽게 포착하기 때문이다.
• 두 모델은 동일한 메모리 복잡도를 가지며, 등가 복소수 임베딩은 등가 실수 임베딩의 크기의 절반일 뿐만 아니라 매 차원당 두 배의 메모리가 필요하여 메모리 복잡도가 동일하게 유지된다.
• 등가성은 DFT 도메인에서 대칭 조건이 유지될 경우에만 성립하며, 이는 ComplEx에서 복소수 켤라위션을 통해 암묵적으로 보장된다.
• 경험적 평가 결과, 동일한 손실 함수로 학습할 경우 두 모델이 링크 예측에서 유사한 성능을 내는 것으로 확인되었다.