[논문 리뷰] On the Equivalence of Holographic and Complex Embeddings for Link Prediction

Katsuhiko Hayashi, Masashi Shimbo|arXiv (Cornell University)|2017. 02. 18.

Advanced Graph Neural Networks참고 문헌 6인용 수 28

한 줄 요약

이 논문은 지식 그래프 완성에서 허프릭스 임베딩(HolE)과 복소수 임베딩(ComplEx) 간의 이론적 동치성을 확립한다. 스펙트럴 HolE—푸리에 변환을 사용해 주로 주파수 도메인에서 훈련되는 모델—는 공액 대칭을 가지는 제약 조건이 부여된 ComplEx의 한 형태로 간주될 수 있으며, 임의의 ComplEx 임베딩은 스케일링을 제외하고 점수를 유지하는 동일한 HolE 표현으로 변환될 수 있다.

ABSTRACT

We show the equivalence of two state-of-the-art link prediction/knowledge graph completion methods: Nickel et al's holographic embedding and Trouillon et al.'s complex embedding. We first consider a spectral version of the holographic embedding, exploiting the frequency domain in the Fourier transform for efficient computation. The analysis of the resulting method reveals that it can be viewed as an instance of the complex embedding with certain constraints cast on the initial vectors upon training. Conversely, any complex embedding can be converted to an equivalent holographic embedding.

연구 동기 및 목표

• 최근 두 가지 최고 수준의 링크 예측 모델인 허프릭스 임베딩(HolE)과 복소수 임베딩(ComplEx) 간의 이론적 관계를 조사하는 것.
• 빠른 푸리에 변환(FFT)을 사용해 주로 주파수 도메인에서 작동하는 HolE의 스펙트럴 훈련 방법을 개발하는 것.
• HolE와 ComplEx 간의 공식적 동치성을 확립하여, 한 모델이 다른 모델로 변환되더라도 점수 함수 출력이 스케일링을 제외하고 그대로 유지됨을 보여주는 것.
• 추론 시 FFT 및 역푸리에 변환을 제거함으로써 HolE 점수 계산의 계산 복잡도를 O(n log n)에서 O(n)으로 감소시키는 것.

제안 방법

• 시간 도메인의 실수 벡터를 복소수 주파수 도메인 벡터로 대체하여 이산 푸리에 변환(DFT)을 사용해 주파수 도메인에서 임베딩을 학습함으로써 HolE의 스펙트럴 훈련을 제안한다.
• 역푸리에 변환을 통해 실수 값을 갖는 허프릭스 임베딩을 도출하기 위해 주파수 도메인 임베딩에 공액 대칭 조건을 도입한다.
• 추론 시 FFT 연산을 피하기 위해 주파수 도메인에서 점수 함수를 f_HolE(r,s,o) = (1/n) Re(ω_r · (ε_s ⊙ ε_o))로 유도한다.
• 이 스펙트럴 HolE 설정이 복소수 임베딩이 공액 대칭을 가지는 조건 하에서 ComplEx와 수학적으로 동치임을 증명한다.
• s(x) = [0, x, flip(x)]^T를 통해 복소수 임베딩에서 등가의 실수 값 허프릭스 임베딩으로의 사상 h(·)를 구성한다.
• 결과적으로 도출된 HolE 점수는 정확히 ComplEx 점수의 2/n 배임을 증명하여, 스케일링 인자 외에는 동치임을 보여준다.

실험 결과

연구 질문

• RQ1 허프릭스 임베딩(HolE)과 복소수 임베딩(ComplEx) 간에 공식적인 수학적 관계가 존재하는가?
• RQ2 FFT 오버헤드 없이 주파수 도메인에서만 HolE를 훈련하고 점수를 계산할 수 있는가?
• RQ3 복소수 임베딩에 공액 대칭 조건을 도입하면 스펙트럴 HolE와 동일한 행동을 보이는가?
• RQ4 모든 복소수 임베딩 세트를 동일한 점수 결과를 유지하는 등가의 허프릭스 임베딩으로 변환할 수 있는가?
• RQ5 표준 HolE에 비해 스펙트럴 HolE 설정의 점수 계산 복잡도는 어떻게 되는가?

주요 결과

• 주파수 도메인에서 훈련된 스펙트럴 HolE는 FFT 및 역FFT 연산이 필요 없어져 O(n) 점수 계산 복잡도를 달성한다.
• 스펙트럴 HolE 모델은 복소수 임베딩이 공액 대칭을 가지는 조건 하에서 ComplEx와 수학적으로 동치이다.
• 모든 ComplEx 임베딩은 변환 h(x) = F⁻¹([0, x, flip(x)]^T)를 통해 등가의 HolE 표현으로 변환될 수 있으며, 점수는 스케일링 인자 2/n를 제외하고 동일하게 유지된다.
• HolE의 주파수 도메인 설정은 공액 대칭 임베딩을 가진 ComplEx와 동치이며, 더 넓은 ComplEx 프레임워크의 특수한 경우로 간주된다.
• 스토케스틱 경사 하강법 훈련 중 주파수 도메인에서 공액 대칭 성질이 유지되어 시간 도메인에서 유효한 실수 값 허프릭스 임베딩이 보장된다.
• 동치성은 ComplEx와 HolE가 본질적으로 다른 모델가 아니라 동일한 점수 함수를 다른 매개변수화 방식으로 표현한 것임을 시사한다.