[논문 리뷰] A Structural Representation Learning for Multi-relational Networks

Xin Li, Huiting Hong외 2명|arXiv (Cornell University)|2018. 05. 16.

Advanced Graph Neural Networks참고 문헌 23인용 수 3

한 줄 요약

이 논문은 다중관계 네트워크를 위한 새로운 구조적 표현 학습 모델인 다중관계 네트워크 임bedding(MNE)을 제안한다. 기존 방법에서 간과하는 삼각형 및 평행사변형 연결 패턴을 명시적으로 유지한다. $h + r = t$라는 딱딱한 제약 조건을 더 유연한 목적 함수로 대체함으로써, MNE는 지식 그래프 벤치마크 데이터셋에서 기존의 최고 성능 모델인 TransE와 LINE을 능가하는 성능을 달성한다. 특히 구조적 복잡성이 높은 네트워크에서 뛰어난 성능을 보인다.

ABSTRACT

Most of the existing multi-relational network embedding methods, e.g., TransE, are formulated to preserve pair-wise connectivity structures in the networks. With the observations that significant triangular connectivity structures and parallelogram connectivity structures found in many real multi-relational networks are often ignored and that a hard-constraint commonly adopted by most of the network embedding methods is inaccurate by design, we propose a novel representation learning model for multi-relational networks which can alleviate both fundamental limitations. Scalable learning algorithms are derived using the stochastic gradient descent algorithm and negative sampling. Extensive experiments on real multi-relational network datasets of WordNet and Freebase demonstrate the efficacy of the proposed model when compared with the state-of-the-art embedding methods.

연구 동기 및 목표

• 기존의 다중관계 네트워크 임베딩 방법이 $h + r = t$라는 딱딱한 제약 조건에 의존함으로써 삼각형 및 평행사변형과 같은 복잡한 구조 패턴을 포착하지 못하는 한계를 해결하고자 한다.
• 다중관계 네트워크에서 고차원 연결 구조를 암묵적으로 유지하는 더 유연한 표현 학습 프레임워크를 개발하고자 한다.
• 밀도 높은 삼각형 연결성을 가진 네트워크에서 특히 효과적인 트리플릿 분류 및 링크 예측과 같은 지식 그래프 작업의 성능을 향상시키고자 한다.
• 확률적 경사 하강법과 음성 샘플링을 통해 스케일러블 학습을 가능하게 하여 대규모 네트워크 임베딩을 지원하고자 한다.

제안 방법

• $h + r = t$를 강제하지 않고 실체와 관계 간 기하학적 관계를 모델링함으로써 삼각형 및 평행사변형 연결 패턴을 암묵적으로 유지하는 새로운 목적 함수를 제안한다.
• 벡터 덧셈 기반의 브리징 함수를 사용하여 구조 패턴을 모델링함으로써, 엄격한 이동 기반 모델보다 더 민첩하고 정확한 임베딩을 가능하게 한다.
• 계산 비용을 줄이고 대규모 네트워크로의 확장성을 확보하기 위해 음성 샘플링을 통한 확률적 경사 하강법을 적용한다.
• ${M\text{NE}}^{+}$를 도입하여, 최적화된 학습 동역학을 통해 MNE의 성능을 더욱 향상시킨다.
• 각 (헤드, 관계, 테일) 트리플릿을 양성 샘플로 간주하고, 헤드 또는 테일 실체를 손상시켜 음성 샘플을 생성한다.
• 링크 예측 및 트리플릿 분류 작업의 후속 평가를 위해 학습된 임베딩에 로지스틱 회귀 분류기를 적용한다.

실험 결과

연구 질문

• RQ1 기존 방법에서 자주 忽시되는 삼각형 연결 패턴을 다중관계 네트워크 임베딩 모델이 효과적으로 포착할 수 있는가?
• RQ2 $h + r = t$라는 딱딱한 제약 조건을 더 유연한 목적 함수로 대체하면 표현 품질과 일반화 능력이 향상되는가?
• RQ3 WordNet과 Freebase와 같이 다양한 수준의 구조적 복잡성을 가진 실제 지식 그래프에서 제안된 모델의 성능은 어떠한가?
• RQ4 높은 정확도를 유지하면서 모델이 대규모 네트워크로 얼마나 잘 스케일링되는가?
• RQ5 트리플릿 분류 및 링크 예측 작업 모두에서 TransE와 LINE과 같은 최고 수준의 기존 방법보다 더 뛰어난 성능을 달성할 수 있는가?

주요 결과

• MNE는 WN18과 FB15K 데이터셋에서 트리플릿 분류 및 링크 예측 작업 전반에서 TransE, TransH, LINE을 포함한 모든 베이스라인 방법보다 일관되게 뛰어난 성능을 보였다.
• ${M\text{NE}}^{+}$ 모델은 모든 설정에서 최고의 성능을 달성하여 뛰어난 일반화 능력과 강건성을 입증했다.
• 삼각형 연결 비율이 증가할수록 MNE는 높은 정확도를 유지하지만, TransE와 TransH는 동일한 조건에서 성능 저하가 심각하게 나타났다.
• MNE는 약 20차원의 낮은 임베딩 차원에서 최적 성능에 수렴하는 반면, 다른 방법들은 양호한 결과를 얻기 위해 최소 100차원가 필요로 하여 더 컴act하고 효율적인 표현을 나타낸다.
• 음성 샘플링을 통해 확장 가능한 학습이 가능해져, MNE는 성능을 희생시키지 않고 대규모 네트워크를 효율적으로 처리할 수 있었다.