[논문 리뷰] Analogical Inference for Multi-Relational Embeddings

Hanxiao Liu, Yuexin Wu외 1명|arXiv (Cornell University)|2017. 05. 06.

Advanced Graph Neural Networks참고 문헌 42인용 수 193

한 줄 요약

ANALOGY를 도입하는 프레임워크로, 다관계 임베딩에서 교환 가능한 정규 행렬을 사용하여 유추적(아날로지) 구조를 명시적으로 모델링하며, 확장 가능한 미분가능한 최적화와 벤치마크 데이터셋에서 기준(Base) 대비 성능을 향상시킨다.

ABSTRACT

Large-scale multi-relational embedding refers to the task of learning the latent representations for entities and relations in large knowledge graphs. An effective and scalable solution for this problem is crucial for the true success of knowledge-based inference in a broad range of applications. This paper proposes a novel framework for optimizing the latent representations with respect to the extit{analogical} properties of the embedded entities and relations. By formulating the learning objective in a differentiable fashion, our model enjoys both theoretical power and computational scalability, and significantly outperformed a large number of representative baseline methods on benchmark datasets. Furthermore, the model offers an elegant unification of several well-known methods in multi-relational embedding, which can be proven to be special instantiations of our framework.

연구 동기 및 목표

• 대규모 지식 그래프 임베딩에서 아날로지적 추론의 동기를 제시하고 이를 형식화한다.
• 관계 맵의 교환성 및 정규성을 통해 아날로지 구조를 강제하는 계산 가능하고 다루기 쉬운 목적 함수를 정의한다.
• 이 제약 조건하에서 엔티티와 관계 표현을 학습하기 위한 확장 가능한 알고리즘을 개발한다.
• 기존 임베딩 모델들이 ANALOGY 프레임워크의 특수한 경우로 나타난다는 것을 보인다.

제안 방법

• 각 관계 r을 엔티티 임베딩 v_e에 작용하는 선형 변환 W_r으로 모델링하고, 삼중항을 φ(s,r,o)=v_s^T W_r v_o로 점수화한다.
• 관계 맵이 교환 가족을 이루고 정규성을 갖도록 제약을 부여한다, 즉 모든 r에 대해 W_r W_r^T = W_r^T W_r 및 모든 r,r'에 대해 W_r W_{r'} = W_{r'} W_r.
• 교환성 있는 정규 행렬을 직교 기저 Q를 이용한 공동 블록 대각화로 표현하여, 희소한 거의 대각 블록 B_r를 가지는 동등한 형태의 표현을 가능하게 한다.
• 원래 형식 하의 어떤 해든 B_r이 축소된 집합에 속하는 동등한 해가 존재함을 보이고, 삼중당 계산을 O(m)로 축소한다.
• DistMult, ComplEx, HolE가 프레임워크 내의 특수한 경우로 나타난다는 것을 보여준다.
• 비동기 AdaGrad SGD와 로지스틱 손실을 사용하고, 음수 샘플은 s, r 또는 o를 손상시켜 생성한다.

실험 결과

연구 질문

• RQ1 다관계 임베딩에 아날로지적 추론을 형식적으로 어떻게 포함시킬 수 있는가?
• RQ2 관계 행렬의 교환성 및 정규성 제약이 지식 그래프 보완을 개선할 수 있는가?
• RQ3 ANALOGY의 동등하고 더 효율적인 형태가 성능을 보전하면서 계산을 줄일 수 있는가?
• RQ4 기존 임베딩 모델은 ANALOGY의 특수 사례로서 어떤 관계가 있으며, 이것이 실험적 효과성에 대해 시사하는 바는 무엇인가?

주요 결과

• ANALOGY는 FB15K 및 WN18에서 광범위한 기준선 대비 강력한 성능 향상을 달성한다.
• 프레임워크는 여러 대표 방법을 특수한 경우로 보여주는 통합된 관점을 제공한다.
• 대안적 블록 대각화 형식은 삼중당당 계산을 O(m)으로 줄이고 임베딩 규모에 선형으로 확장된다.
• HolE와 ComplEx는 ANALOGY 프레임워크와 관련된 구성으로 볼 수 있으며, HolE는 실수형 표현의 복소수형 이완에 해당한다.