[논문 리뷰] TripleRE: Knowledge Graph Embeddings via Tripled Relation Vectors

Long Yu, Zhicong Luo외 4명|arXiv (Cornell University)|2022. 09. 17.

Advanced Graph Neural Networks인용 수 11

한 줄 요약

이 논문은 관계 벡터를 세 부분으로 분해하여 모델링 능력을 향상시키기 위해 번역 기반 지식 그래프 임베딩 방법인 TripleRE를 제안한다. NodePiece를 통합하여 효율적인 엔티티 인코딩을 구현하고, TripleREv2에서 잔차 학습을 활용함으로써 ogbl-wikikg2에서 최신 기술 수준의 성능을 달성하면서도 파rameter 수를 크게 줄였다. 이는 MRR 및 파rameter 효율성 측면에서 이전 방법들을 능가한다.

ABSTRACT

Translation-based knowledge graph embedding has been one of the most important branches for knowledge representation learning since TransE came out. Although many translation-based approaches have achieved some progress in recent years, the performance was still unsatisfactory. This paper proposes a novel knowledge graph embedding method named TripleRE with two versions. The first version of TripleRE creatively divide the relationship vector into three parts. The second version takes advantage of the concept of residual and achieves better performance. In addition, attempts on using NodePiece to encode entities achieved promising results in reducing the parametric size, and solved the problems of scalability. Experiments show that our approach achieved state-of-the-art performance on the large-scale knowledge graph dataset, and competitive performance on other datasets.

연구 동기 및 목표

• 지식 그래프 내에서 복잡한 관계적 의미를 포착하는 데에 기존의 번역 기반 모델의 한계를 해결하기 위해.
• 효율적인 엔티티 인코딩을 통해 대규모 지식 그래프 임베딩의 확장성 향상과 파rameter 크기 감소를 위해.
• 관계 벡터를 세 부분으로 분해하여 더 풍부한 관계 모델링을 가능하게 함으로써 표현 학습을 향상시키기 위해.
• 잔차 학습이 지식 표현에 있어 성능 향상에 기여하는지 탐색하기 위해.
• TripleRE를 NodePiece와 결합하여 확장 가능하고, 파rameter 수가 적고 성능이 뛰어난 지식 그래프 임베딩을 구현하기 위해.

제안 방법

• TripleRE는 관계 벡터를 세 개의 별개의 부분 관계 벡터로 나누는 새로운 복호화 메커니즘을 도입하여, 더 복잡한 관계 패턴을 효과적으로 모델링한다.
• 표준 번역 기반 접근 방식을 확장하여 h + r1 + r2 + r3 ≈ t 기반의 스코어링 함수를 사용한다.
• TripleREv2는 잔차 학습 메커니즘을 통합하여 최종 표현을 h + r1 + r2 + r3 + 잔차로 계산함으로써 최적화 및 성능 향상을 도모한다.
• 엔티티는 K개의 근접한 앵커 엔티티를 사용하여 NodePiece로 인코딩되며, 이는 모델의 파rameter 수를 크게 줄이면서도 성능을 유지하는 데 기여한다.
• NodePiece의 앵커 기반 인코딩에서 유도된 구조적 정보와 TripleRE의 관계 분해를 융합함으로써 효율성과 표현력 향상을 동시에 달성한다.
• ogbl-wikikg2 및 ogbl-biokg와 같은 대규모 벤치마크에서 성능 최적화를 위해 학습률과 잔차 스케일링(u) 등의 하이퍼파ram터 튜닝을 실시한다.

실험 결과

연구 질문

• RQ1 관계 벡터를 세 부분으로 분해하는 것이 번역 기반 지식 그래프 임베딩 모델의 표현 능력을 향상시키는가?
• RQ2 새로운 스코어링 함수와 함께 NodePiece를 통합할 경우, 대규모 지식 그래프에서 파rameter 효율성과 성능에 어떤 영향을 미치는가?
• RQ3 TripleREv2의 잔차 학습 메커니즘이 표준 번역 기반 모델 대비 일관된 성능 향상을 이끌어내는가?
• RQ4 제안된 방법이 파rameter 수를 줄이고도 ogbl-wikikg2와 같은 대규모 벤치마크에서 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 TripleRE의 맥락에서 엔티티 인코딩의 최적 구성(예: 앵커 전용 vs. 앵커 + 관계 정보)은 무엇인가?

주요 결과

• TripleRE+NodePiece는 ogbl-wikikg2 벤치마크에서 최신 기술 수준의 성능을 달성했으며, 테스트 MRR은 0.6627 ± 0.0018, 검증 MRR은 0.6745 ± 0.0015를 기록했다.
• ogbl-wikikg2에서 두 번째로 우수한 성능을 낸 방법 대비 파rameter 수를 3배 이상 감소시켰으며, 가장 낮은 파rameter 수로 가장 높은 성능를 달성했다.
• ogbl-wikikg2에서 '앵커' 인코딩 방식(단지 K개의 근접한 앵커를 사용)이 '앵커 + r' 및 '앵커 + rm' 설정보다 MRR과 파rameter 효율성 측면에서 모두 뛰어난 성능을 보였다.
• 잔차 학습을 통한 TripleREv2는 테스트 MRR 0.6627, 검증 MRR 0.6745를 기록하여 잔차 연결이 지식 표현에 효과적임을 입증했다.
• FB15k 및 WN18과 같은 소규모 데이터셋에서도 TripleRE는 MRR 측면에서 TransAt를 능가했으며, 강력한 일반화 능력을 보였다.
• 제거 분석 결과, TripleRE와 NodePiece의 조합이 매우 효과적이며, '앵커' 인코딩 전략이 성능과 모델 크기 사이의 최적의 균형을 이룬다는 것이 확인되었다.