[논문 리뷰] Discrete Knowledge Graph Embedding based on Discrete Optimization

Yunqi Li, Shuyuan Xu외 5명|arXiv (Cornell University)|2021. 01. 13.

Advanced Graph Neural Networks참고 문헌 16인용 수 4

한 줄 요약

이 논문은 이산 지식 그래프 임베딩(DKGE)을 제안하며, 해밍 공간에서离산 최적화를 통해 이진 엔티티 및 관계 코드를 직접 학습하는 방법을 제시한다. 번역 모델링에 히드라드 곱을 사용하며, 저장소 및 계산 비용을 크게 낮추면서도 최신 연속 모델과 비교해 유사한 링크 예측 정확도를 달성한다. 또한 사후 훈련 단계에서 연속 임베딩을 양자화하는 방법보다 우수한 성능을 보인다.

ABSTRACT

This paper proposes a discrete knowledge graph (KG) embedding (DKGE) method, which projects KG entities and relations into the Hamming space based on a computationally tractable discrete optimization algorithm, to solve the formidable storage and computation cost challenges in traditional continuous graph embedding methods. The convergence of DKGE can be guaranteed theoretically. Extensive experiments demonstrate that DKGE achieves superior accuracy than classical hashing functions that map the effective continuous embeddings into discrete codes. Besides, DKGE reaches comparable accuracy with much lower computational complexity and storage compared to many continuous graph embedding methods.

연구 동기 및 목표

• 대규모 응용 프로그램에서 연속 지식 그래프 임베딩의 높은 저장소 및 계산 비용을 해결하기 위해.
• 먼저 연속 공간에서 최적화하고 나서 이진 코드로 양자화하는 이중 단계 해싱 방법으로 인해 발생하는 성능 저하를 극복하기 위해.
• 엔티티 및 관계에 대한 이진 임베딩을 직접 학습할 수 있는 계산적으로 타당한 이산 최적화 프레임워크를 개발하기 위해.
• 메모리 사용량과 추론 비용을 크게 줄이면서도 연속 모델과 비교해 유사하거나 더 높은 링크 예측 정확도를 달성하기 위해.
• 사후 양자화된 연속 임베딩에 비해 직접 이산 최적화가 우수한 성능을 보임을 입증하기 위해.

제안 방법

• DKGE는 {±1}^k 공간 내의 이진 벡터로 엔티티와 관계를 표현하며, 이를 해밍 공간에 통합한다.
• 헤드 엔티티와 관계 벡터의 히드라드 곱을 사용해 엔티티 이동을 모델링함으로써 구조적 의미를 유지한다.
• 점수 함수는 이동된 헤드 엔티티와 테일 엔티티 사이의 해밍 거리 기반으로 구성된다.
• 혼합정수-교차 최적화 알고리즘을 사용해 이산 최적화 문제를 해결함으로써 계산의 타당성을 확보한다.
• 이산 변수에 대한 반복적 최적화를 통해 알고리즘의 수렴을 이론적으로 보장한다.
• 이산 제약 조건의 완화를 피함으로써 임베딩의 무결성을 유지하고 양자화 손실을 최소화한다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩을 위한 직접 이산 최적화가 저장소 및 계산 비용을 줄이면서도 연속 방법과 유사한 정확도를 달성할 수 있는가?
• RQ2 기존 해싱 함수를 사용해 연속 임베딩을 사후에 양자화하는 것과 비교해, 직접 이산 임베딩을 학습하는 것이 어떤가?
• RQ3 밀도가 높은 데이터셋에서 B-CP와 같은 기존의 이산 KG 임베딩 방법보다 직접 최적화가 뛰어난 성능을 보일 수 있는가?
• RQ4 헤드 및 테일 엔티티에 별도의 벡터를 사용하는 모델에 비해 메모리 소비를 절반으로 줄여도 높은 성능을 유지할 수 있는가?
• RQ5 저메모리, 고효율 환경에서의 직접 이산 최적화가 링크 예측 정확도에 어떤 영향을 미치는가?

주요 결과

• DKGE는 TransE, DistMult, ComplEx, ConvE, R-GCN와 같은 최신 연속 모델과 비교해 유사하거나 더 높은 링크 예측 정확도를 달성하며, 특히 FB15k-237에서 두드러진다.
• 같은 메모리 예산에서 DKGE는 그림 1에서 보듯이 정확도와 효율성 면에서 연속 모델을 모두 능가한다.
• TransE와 DistMult에서 유도된 연속 임베딩에 대해 기존의 세 가지 해싱 함수(신호, 등간격, Lloyd-Max)보다 DKGE가 크게 승리한다.
• B-CP에 비해 메모리 소비를 절반으로 줄였음에도 불구하고 FB15k-237에서 Hit@10 성능이 더 뛰어나, 밀도가 높은 데이터셋에서 뛰어난 성능을 보임을 시사한다.
• 비트 연산을 통해 이산 코드를 처리함으로써 계산 복잡도가 낮고 추론 속도가 빨라, 엣지 디바이스에의 배포가 가능하다.
• 이론적으로 이산 최적화 알고리즘의 수렴이 보장되어 있어, 안정성과 신뢰성의 타당성을 입증한다.