[논문 리뷰] InterHT: Knowledge Graph Embeddings by Interaction between Head and Tail Entities

Baoxin Wang, Qingye Meng외 7명|arXiv (Cornell University)|2022. 02. 10.

Advanced Graph Neural Networks인용 수 10

한 줄 요약

이 논문은 헤드 및 테일 엔티티 간의 요소별 곱셈을 통해 보조 벡터를 활용한 이중 방향 상호작용을 가능하게 함으로써 엔티티 표현을 향상시키는 새로운 거리 기반 지식 그래프 임베딩 모델인 InterHT를 제안한다. 교차 엔티티 정보를 통합함으로써 InterHT는 ogbl-wikikg2 데이터셋에서 최신 기술 수준의 성능을 달성하며, DigPiece를 사용한 InterHT+ 버전을 통해 72.93%의 MRR을 기록한다.

ABSTRACT

Knowledge graph embedding (KGE) models learn the representation of entities and relations in knowledge graphs. Distance-based methods show promising performance on link prediction task, which predicts the result by the distance between two entity representations. However, most of these methods represent the head entity and tail entity separately, which limits the model capacity. We propose two novel distance-based methods named InterHT and InterHT+ that allow the head and tail entities to interact better and get better entity representation. Experimental results show that our proposed method achieves the best results on ogbl-wikikg2 dataset.

연구 동기 및 목표

• 기존의 거리 기반 지식 그래프 임베딩 모델에서 헤드 및 테일 엔티티를 독립적으로 표현함으로써 발생하는 모델 용량의 한계를 해결하기 위해.
• 대표성 학습 중 헤드 및 테일 엔티티 간의 동적 상호작용을 가능하게 하여 링크 예측 성능을 향상시키기 위해.
• 맥락 인식 엔티티 표현을 통해 대규모 지식 그래프에서 표현력과 일반화 능력을 향상시키기 위해.
• 지식 그래프 완성 작업을 위한 ogbl-wikikg2 벤치마크 데이터셋에서 최신 기술 수준의 성능을 달성하기 위해.

제안 방법

• InterHT는 최종 헤드 엔티티 표현이 원본 헤드 임베딩과 테일 엔티티로부터 유도된 보조 벡터의 요소별 곱셈을 통해 형성되는 메커니즘을 도입한다.
• 유사하게, 최종 테일 엔티티 표현은 원본 테일 임베딩과 헤드 엔티티로부터 유도된 보조 벡터의 곱셈을 통해 확보되며, 이는 이중 방향 상호작용을 가능하게 한다.
• 모델은 업데이트된 헤드 및 테일 표현 간의 밀도를 측정하는 거리 기반 스코어링 함수를 사용하여 링크 타당성을 예측한다.
• InterHT+는 더 높은 차원의 임베딩(512-d)을 사용하고 DigPiece를 통합하여 미리 보지 못한 엔티티로의 일반화 능력을 향상시킨다.
• 이 방법은 Adam 옵timizer를 사용하여 엔드 투 엔드로 학습되며, 학습률은 5e-4이고, 음성 샘플링 크기는 128이다.
• 모델은 MRR과 Hits@10을 메트릭으로 사용하여 ogbl-wikikg2에서 평가되며, 확장성 확보를 위해 NodePiece 및 DigPiece를 활용한 아블레이션 테스트가 실시된다.

실험 결과

연구 질문

• RQ1 헤드 및 테일 엔티티 간의 이중 방향 상호작용이 거리 기반 지식 그래프 임베딩 모델의 표현 능력을 향상시킬 수 있는가?
• RQ2 요소별 곱셈을 통한 교차 엔티티 정보 통합이 링크 예측 작업에서 더 나은 일반화 및 성능을 이끌 수 있는가?
• RQ3 대규모 지식 그래프에서 RotatE, PairRE, TripleRE와 같은 최신 기술 수준의 모델들과 비교해 InterHT는 어떻게 성능을 내는가?
• RQ4 DigPiece 또는 NodePiece의 통합이 InterHT의 성능과 강인성, 특히 OOV(Out-of-Vocabulary) 엔티티에 대해 향상시킬 수 있는가?

주요 결과

• NodePiece와 결합된 InterHT는 ogbl-wikikg2 데이터셋에서 67.79%의 MRR을 기록하며, TripleRE를 1.97%p 뛰어넘는 성능을 보였다.
• DigPiece를 통합한 InterHT+ 버전은 ogbl-wikikg2 테스트 세트에서 최신 기술 수준의 MRR 72.93%를 달성했다.
• TransE, RotatE, PairRE, ComplEx와 같은 기준 모델들보다 모델이 뛰어난 성능을 보이며, 교차 엔티티 상호작용의 효과성을 확인했다.
• InterHT+와 함께 DigPiece를 사용함으로써 특히 새로운 엔티티에 대한 일반화 능력이 크게 향상되었으며, 이는 앵커 기반 엔티티 토크나이제이션 덕분이었다.
• 아블레이션 연구는 InterHT의 상호작용 메커니즘이 모델 용량 및 예측 정확도 향상에 핵심 요소임을 확인했다.
• 결과적으로, 교차 엔티티 곱셈을 통한 동적이고 맥락 인식 엔티티 표현이 링크 예측 성능 향상에 측정 가능한 기여를 한다는 것이 검증되었다.