[논문 리뷰] A Semantic Matching Energy Function for Learning with Multi-relational Data

Xavier Glorot, Antoine Bordes외 2명|arXiv (Cornell University)|2013. 01. 15.

Advanced Graph Neural Networks참고 문헌 2인용 수 32

한 줄 요약

이 논문은 신경망을 사용하여 관계에 따라 변형되는 방식으로 복잡한 관계 상호작용을 모델링함으로써, 엔티티와 관계 유형을 공유하는 저차원 벡터 공간에 통합하는 의미적 매칭 에너지(SME) 함수를 제안한다. 이중 선형형태의 SME(variant)는 링크 예측 작업에서 최신 기준 성능을 달성하며, 특히 가족 관계 네트워크와 같은 복잡한 관계 구조에서 삼항 상호작용을 모델링하는 데 뛰어난 성능을 보인다.

ABSTRACT

Large-scale relational learning becomes crucial for handling the huge amounts of structured data generated daily in many application domains ranging from computational biology or information retrieval, to natural language processing. In this paper, we present a new neural network architecture designed to embed multi-relational graphs into a flexible continuous vector space in which the original data is kept and enhanced. The network is trained to encode the semantics of these graphs in order to assign high probabilities to plausible components. We empirically show that it reaches competitive performance in link prediction on standard datasets from the literature.

연구 동기 및 목표

• 노이즈가 많고 이질적이며 대규모의 다중관계 데이터로부터 의미 있는 표현을 학습하는 데 도전하는 것.
• 엔티티와 관계를 동일한 벡터 공간 내에서 모델링하여 양쪽을 대칭적으로 취급하고 관계 유형의 수가 증가함에 따라 파라미터 수를 줄이는 것.
• 유효한 삼중항 (주어, 관계, 목적어)에 대해 낮은 에너지를 할당하는 에너지 기반 모델을 개발하여 관계 그래프의 구조적 및 의미적 패턴을 포착하는 것.
• 신경망 파arametrization을 통해 구조적이고 관계 인식 가능한 표현을 학습함으로써 링크 예측의 일반화 능력을 향상시키는 것.

제안 방법

• 각 엔티티와 관계 유형은 공유되는 d차원 공간에 임베딩되며, 역전파를 통해 학습된다.
• 에너지 함수는 관계 유형에 따라 달라지는 함수 g에 의해 변형된 왼쪽 및 오른쪽 엔티티 임베딩 간의 매칭 점수를 계산한다.
• 두 가지 변형이 제안된다: SME(선형), 선형 변형을 사용하고, SME(이차형), 더 풍부한 상호작용 모델링을 위해 3모드 텐서 연산을 사용한다.
• 에너지 값은 변형된 임베딩 간의 내적 곱으로 계산되며, E = - (W_l E_lhs^T + W_l2 E_rel^T + b_l^T)^T (W_r E_rhs^T + W_r2 E_rel^T + b_r^T)이다.
• 학습은 순차적 경사 하강법을 사용하며, 양성 삼중항의 에너지가 부정성 삼중항보다 낮아지도록 순서 기반 목표를 최적화한다.
• 모델은 관계 유형을 엔티티와 동일한 공간에 있는 벡터로 간주하여 관계를 엔티티로 모델링하고, 그 반대로도 가능하게 하여 더 민첩한 관계 추론을 지원한다.

실험 결과

연구 질문

• RQ1 엔티티와 관계 유형을 위한 통합된 임베딩 공간이 다중관계 데이터에서 표현 학습을 향상시키는가?
• RQ2 엔티티와 동일한 공간에 관계를 벡터로 모델링할 경우 링크 예측 작업 성능에 어떤 영향을 미치는가?
• RQ3 이차형 상호작용 메커니즘은 선형 또는 이항 기반 모델보다 더 복잡한 삼항 관계를 더 잘 포착하는가?
• RQ4 제안된 에너지 함수는 텐서 분해 및 행렬 완성 방법에 비해 예측 능력과 일반화 능력 측면에서 어떻게 비교되는가?
• RQ5 모델은 구조적이고 관계적인 데이터셋에서 관측된 삼중항을 초월해 어느 정도 일반화되는가?

주요 결과

• SME(이차형)은 모든 세 가지 벤치마크 데이터셋에서 SME(선형)을 능가하며, Nations 데이터셋에서 AUC가 8.8% 향상되었다.
• Kinships 데이터셋에서 SME(이차형)은 AUC 0.894를 기록하여 RESCAL 및 CP를 제외한 모든 방법보다 뛰어난 성능을 보이며, 복잡한 관계 구조에서 강력한 성능을 입증했다.
• UMLS에서 SME(이차형)은 AUC 0.985를 기록하여 LFM(0.990)과 유사한 성능을 보였고, RESCAL(0.98)과 CP(0.95)보다 뛰어났다.
• 이차형 수식은 아야와라르라 가족 관계 체계처럼 주어, 관계, 목적어 간의 공동 상호작용이 핵심이 되는 데이터셋에서 특히 효과적이었다.
• 이전 모델들과 달리 SME는 관계 유형을 엔티티와 동일한 공간에 있는 벡터로 간주하여 관계를 직접 엔티티로 모델링할 수 있으며, 더 민첩한 관계 추론을 지원한다.
• 재구성 기반 학습이 아닌 예측 에너지 함수를 사용함에도 불구하고, LFM 및 RESCAL와 같은 행렬 기반 방법과 경쟁 가능한 성능을 보였다.