[논문 리뷰] A Survey of Knowledge Graph Embedding and Their Applications

Shivani Choudhary, Tarun Luthra외 2명|arXiv (Cornell University)|2021. 07. 16.

Advanced Graph Neural Networks참고 문헌 40인용 수 5

한 줄 요약

이 종합 검토는 TransE와 같은 이동 기반 모델에서 고도화된 의미론적 및 다중 모odal 접근법에 이르기까지 지식 그래프 임bedding(KGE) 기법에 대한 종합적인 개요를 제공한다. 엔티티와 관계의 벡터 표현이 링크 예측, 삼중체 분류 및 추천 시스템 등의 응용 분야에서 어떻게 기능하는지 상세히 기술하며, 표현 학습 및 실세계 성능을 향상시키기 위해 텍스트 및 다중 모달 데이터를 통합하는 데 중점을 둔다.

ABSTRACT

Knowledge Graph embedding provides a versatile technique for representing knowledge. These techniques can be used in a variety of applications such as completion of knowledge graph to predict missing information, recommender systems, question answering, query expansion, etc. The information embedded in Knowledge graph though being structured is challenging to consume in a real-world application. Knowledge graph embedding enables the real-world application to consume information to improve performance. Knowledge graph embedding is an active research area. Most of the embedding methods focus on structure-based information. Recent research has extended the boundary to include text-based information and image-based information in entity embedding. Efforts have been made to enhance the representation with context information. This paper introduces growth in the field of KG embedding from simple translation-based models to enrichment-based models. This paper includes the utility of the Knowledge graph in real-world applications.

연구 동기 및 목표

• 이동 기반 모델에서 출발하여 더 풍부하고 맥락 인식형 모델로 발전한 지식 그래프 임베딩(KGE) 방법의 진화를 체계적으로 개괄하는 것.
• 텍스트 및 다중 모달 정보(예: 이미지, 텍스트)를 엔티티 표현에 통합하여 임베딩 품질을 향상시키는 방법을 검토하는 것.
• 링크 예측, 삼중체 분류 및 추천 시스템과 같은 실세계 작업에 KGE가 어떻게 적용되는지 분석하는 것.
• 맥락 기반 및 다중 작업 학습 접근법을 포함한 신규 연구 방향을 식별하는 것.
• 벡터 공간 표현을 통해 구조화된 지식 그래프 데이터와 실용적 기계 학습 응용 간 격차를 메우는 것.

제안 방법

• KGE 방법을 두 가지 주요 유형으로 분류한다: 벡터 덧셈 기반의 이동 모델(예: TransE, TransH)과 곱셈 연산 기반의 의미론적 매칭 모델.
• TransE의 핵심 메커니즘을 설명하며, h + r ≈ t 식을 사용하여 헤드 엔티티 벡터 h, 관계 벡터 r, 테일 엔티티 벡터 t가 순위 기반 손실 함수를 통해 최적화됨을 기술한다.
• TransH을 TransE의 확장으로 설명하며, 관계별 초평면에 엔티티를 투영하여 일대다 및 다대다 관계 처리의 한계를 해결함을 설명한다.
• DistMult 및 ComplEx와 같은 의미론적 매칭 모델을 소개하며, 텐서 분해와 복소수 벡터 임베딩을 사용하여 대칭, 반대칭 및 역관계를 모델링함을 기술한다.
• 텍스트 및 시각적 특징을 엔티티 임베딩에 통합하여 그래프 구조를 초월한 표현의 풍부함을 높이는 다중 모달 KGE 접근법을 검토한다.
• 추천 시스템의 세 가지 학습 철학을 개요한다: 이단계 학습, 공동 학습, 다중 작업 학습이며, KGE가 그래프 기반 보조 정보를 통해 추천을 이끄는 방식을 기술한다.

실험 결과

연구 질문

• RQ1 지식 그래프 임베딩 모델은 단순한 이동 기반 접근에서 복잡하고 풍부한 표현으로 어떻게 진화해왔는가?
• RQ2 TransE와 같은 초기 KGE 모델이 일대다 또는 다대다 관계와 같은 복잡한 관계 패턴을 다룰 때 겪는 한계는 무엇인가?
• RQ3 의미론적 매칭 모델은 어떤 방식으로 이동 기반 모델보다 대칭, 반대칭 및 역관계를 더 잘 포착하는가?
• RQ4 다중 모달 및 풍부한 임베딩 모델은 구조적 정보를 초월해 엔티티 표현을 어떻게 향상시키는가?
• RQ5 KGE 기반 방법은 링크 예측, 삼중체 분류 및 추천 시스템과 같은 후행 응용 분야에서 성능을 어떻게 향상시키는가?

주요 결과

• TransE 및 TransH와 같은 이동 기반 모델은 관계를 벡터 이동으로 모델링함으로써 KGE의 기초를 닦았지만, 복잡한 관계 유형을 다루는 데 어려움을 겪었다.
• DistMult 및 ComplEx와 같은 의미론적 매칭 모델은 곱셈 스코어 함수를 통해 대칭 및 반대칭 관계를 더 잘 포착하여 이동 모델을 능가한다.
• 어텐션 메커니즘 또는 사전 학습된 언어 모델을 통해 텍스트 정보를 임베딩에 통합하면 표현 품질과 후행 작업 정확도가 크게 향상된다.
• 이미지 및 텍스트 특징를 통합한 다중 모달 KGE 모델은 특히 데이터가 적은 환경에서 풍부한 엔티티 기술이 필요한 작업에서 뛰어난 성능을 보인다.
• 추천 시스템에서 공동 학습 및 다중 작업 학습 프레임워크는 KGE 학습을 추천 목표와 정렬함으로써 추천 정확도와 강인성을 향상시킨다.
• Hits@10 및 평균 역수 순위(MRR)와 같은 평가 지표는 FB15k 및 WN18과 같은 표준 벤치마크 데이터셋에서 현대 KGE 모델이 전통적 기준 모델을 뛰어넘는 것으로 일관되게 나타났다.