[논문 리뷰] Large Margin Nearest Neighbor Embedding for Knowledge Representation

Miao Fan, Qiang Zhou외 2명|arXiv (Cornell University)|2015. 04. 07.

Advanced Graph Neural Networks참고 문헌 17인용 수 7

한 줄 요약

이 논문은 대용량 근접 이웃 임베딩(LMNNE)을 제안하며, h + r ≈ t가 되도록 엔티티와 관계에 대해 저차원 벡터 임베딩을 학습하는 지식 표현 모델이다. 양성 꼬리 엔티티를 h + r에 가까이 끌어오르고, 음성 엔티티를 큰 마진 이내로 밀어내는 방식으로 동시에 최적화함으로써, 이전 모델보다 더 낮은 파rameter 복잡도를 유지하면서도 링크 예측 및 삼중항 분류에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Traditional way of storing facts in triplets ({\it head\_entity, relation, tail\_entity}), abbreviated as ({\it h, r, t}), makes the knowledge intuitively displayed and easily acquired by mankind, but hardly computed or even reasoned by AI machines. Inspired by the success in applying {\it Distributed Representations} to AI-related fields, recent studies expect to represent each entity and relation with a unique low-dimensional embedding, which is different from the symbolic and atomic framework of displaying knowledge in triplets. In this way, the knowledge computing and reasoning can be essentially facilitated by means of a simple {\it vector calculation}, i.e. ${\bf h} + {\bf r} \approx {\bf t}$. We thus contribute an effective model to learn better embeddings satisfying the formula by pulling the positive tail entities ${\bf t^{+}}$ to get together and close to {\bf h} + {\bf r} ({\it Nearest Neighbor}), and simultaneously pushing the negatives ${\bf t^{-}}$ away from the positives ${\bf t^{+}}$ via keeping a {\it Large Margin}. We also design a corresponding learning algorithm to efficiently find the optimal solution based on {\it Stochastic Gradient Descent} in iterative fashion. Quantitative experiments illustrate that our approach can achieve the state-of-the-art performance, compared with several latest methods on some benchmark datasets for two classical applications, i.e. {\it Link prediction} and {\it Triplet classification}. Moreover, we analyze the parameter complexities among all the evaluated models, and analytical results indicate that our model needs fewer computational resources on outperforming the other methods.

연구 동기 및 목표

• AI 시스템이 기호적 지식 기반을 계산 가능하게 만들기 위해 분산 벡터 표현을 학습함으로써 도전 과제를 해결하기 위해.
• 사실을 벡터 방정식 h + r ≈ t로 모델링함으로써 지식 표현을 향상시키기 위해.
• 근접성과 마진을 동시 최적화하는 방식으로 관계적 구조를 포착하는 효율적이고 효과적인 임베딩 모델을 개발하기 위해.
• 링크 예측 및 삼중항 분류와 같은 후행 작업에서 성능을 유지하거나 향상시키면서도 파rameter 복잡도를 줄이기 위해.

제안 방법

• LMNNE는 두 가지 목적 함수를 최적화한다: L2 거리 기반으로 양성 꼬리 엔티티(t⁺)를 h + r에 가까이 끌어오리는 것.
• 양성과 음성 꼬리 엔티티(t⁻) 사이에 큰 마진 γ를 강제로 적용하여 t⁻를 h + r에서 멀리 밀어내는 것.
• ||h + r - t||를 기반으로 한 스코어링 함수를 사용하며, 양성 사실의 경우 이 거리를 최소화하고, 음성 사실의 경우 h + r - t⁻보다 최소 γ 이상으로 유지하도록 보장한다.
• 최적의 엔티티 및 관계 임베딩을 학습하기 위해 반복적인 확률적 경사 하강법(SGD) 알고리즘을 사용한다.
• 관계를 머리 엔티티에서 꼬리 엔티티로의 변환을 나타내는 벡터로 간주함으로써, 벡터 산술을 통해 관계 추론을 모델링할 수 있도록 한다.
• 모델은 계산적으로 효율적이며, 파rameter 복잡도가 O(ne*d + nr*d)이므로 대규모 지식 기반에서의 확장성 확보가 가능하다.

실험 결과

연구 질문

• RQ1 사실 삼중항에 대해 h + r ≈ t를 만족하는 분산 임베딩을 효과적으로 학습할 수 있는 지식 표현 모델은 존재하는가?
• RQ2 양성과 음성 꼬리 엔티티 사이에 큰 마진을 강제로 적용하면 지식 추론 작업의 일반화 능력과 성능 향상에 기여하는가?
• RQ3 TransE, NTN, 및 이차형 모델과 같은 최신 기술 수준의 모델과 비교했을 때 LMNNE의 성능 및 효율성은 어떠한가?
• RQ4 LMNNE의 이론적 파rameter 복잡도는 다른 임베딩 모델과 비교해 어떻게 되며, 더 높은 효율성을 달성하는가?

주요 결과

• LMNNE는 링크 예측 및 삼중항 분류에서 최신 기술 수준의 성능을 달성하며, 기준 데이터셋에서 TransE 및 기타 최신 모델들을 능가한다.
• FB15K 데이터셋에서 LMNNE는 삼중항 분류 정확도 86.8%를 기록하여 TransE(85.8%)와 NTN(66.7%)를 초월한다.
• WN11에서 LMNNE는 삼중항 분류 정확도 78.6%를 달성하여 TransE의 77.5%와 다음으로 좋은 성능을 낸 NTN(70.4%)를 뛰어넘는다.
• NTN 및 이차형 모델과 같은 딥 네트워크 기반 모델보다 더 낮은 파rameter 복잡도를 보이며, 복잡도가 O(ne*d + nr*d)이므로 더 높은 확장성 확보가 가능하다.
• FB13 및 FB15K를 포함한 모든 평가된 데이터셋에서 LMNNE는 거리, 하다르드, 단일 레이어, 이차형 모델보다 높은 성능을 기록한다.
• 분석 결과, 텐서 연산이나 관계별 다수의 가중치 행렬을 사용하는 모델들보다 더 낮은 계산 자원을 요구하는 것으로 확인되었다.