[논문 리뷰] LinkNBed: Multi-Graph Representation Learning with Entity Linkage

Rakshit Trivedi, Bunyamin Sisman외 4명|arXiv (Cornell University)|2018. 07. 23.

Advanced Graph Neural Networks참고 문헌 39인용 수 10

한 줄 요약

LinkNBed는 엔티티 연결을 핵심 구성 요소로 활용하여 다수의 불완전한 지식 그래프 간에 엔티티 및 관계 표현을 공동으로 학습하는 딥 관계 학습 프레임워크이다. 새로운 다중 작업 손실 함수와 효율적인 핸들링 절차를 도입하여 Freebase 및 IMDB 데이터셋에서 링크 예측 및 엔티티 연결 작업에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Knowledge graphs have emerged as an important model for studying complex multi-relational data. This has given rise to the construction of numerous large scale but incomplete knowledge graphs encoding information extracted from various resources. An effective and scalable approach to jointly learn over multiple graphs and eventually construct a unified graph is a crucial next step for the success of knowledge-based inference for many downstream applications. To this end, we propose LinkNBed, a deep relational learning framework that learns entity and relationship representations across multiple graphs. We identify entity linkage across graphs as a vital component to achieve our goal. We design a novel objective that leverage entity linkage and build an efficient multi-task training procedure. Experiments on link prediction and entity linkage demonstrate substantial improvements over the state-of-the-art relational learning approaches.

연구 동기 및 목표

• 다양한 불완전하고 이질적인 지식 그래프 간의 통합 표현 학습에 도전하는 것.
• 표현 학습 과정의 핵심 구성 요소로 엔티티 연결을 통합함으로써 다중 그래프 관계 학습을 향상시키는 것.
• 표현 학습과 엔티티 연결을 공동 최적화하는 확장 가능한 그래프 독립적 프레임워크를 설계하는 것.
• 라벨이 부여된 연결 인스턴스의 희소성 문제를 견고한 다중 작업 손실 함수로 다루는 것.
• 대규모 다중 관계 그래프에서 선형 시간 복잡도로 효율적인 훈련을 가능하게 하는 것.

제안 방법

• 공유 임bedding 공간을 사용하여 엔티티 표현 학습과 엔티티 연결을 공동으로 훈련하는 새로운 다중 작업 학습 프레임워크를 제안한다.
• 다양한 그래프 간의 구조적 및 의미적 특징에서 맥락적 표현을 학습하기 위해 그래프 독립적 인덕티브 바이어스를 설계한다.
• 희소한 양성 연결 인스턴스를 효과적으로 다루고, 라벨이 없거나 부정적 인스턴스만으로도 훈련이 가능한 새로운 다중 작업 손실 함수를 도입한다.
• 링크 예측을 위한 점수 최적화를 위해 이동 연산자(예: TransE 스타일)를 활용한다.
• 삼중항의 수에 대해 선형 시간 복잡도를 유지하는 공동 최적화 절차를 사용하여 확장성을 확보한다.
• 동일한 실제 세계의 엔티티에 대한 임베딩를 정렬하기 위해 엔티티 연결을 감독 신호로 활용하여 일반화 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 다수의 지식 그래프 간에 엔티티 표현과 엔티티 연결을 공동으로 학습함으로써 링크 예측 및 엔티티 해소 성능을 향상시킬 수 있는가?
• RQ2 다중 그래프 환경에서 양성 연결 인스턴스의 희소성 문제를 다중 작업 학습 프레임워크가 효과적으로 다룰 수 있는가?
• RQ3 그래프 독립적 인덕티브 프레임워크는 이질적인 다중 관계 그래프에서 의미 있는 표현을 학습하면서도 중복 엔티티 간의 정렬을 유지할 수 있는가?
• RQ4 감독 신호로 엔티티 연결을 통합함으로써 학습된 임베딩의 품질에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 단일 그래프 기반 모델 대비 훈련 시간과 성능 측면에서 어떻게 확장 가능한가?

주요 결과

• LinkNBed는 정제된 Freebase 및 IMDB 데이터셋에서 링크 예측 및 엔티티 연결 작업 모두에서 최신 기술 수준의 성능을 달성한다.
• 이미 다중 그래프 환경에서 미세조정된 단일 그래프 관계 학습 모델조차도 상당한 성능 격차를 보이며 뛰어난 성능을 발휘한다.
• 다중 작업 손실 함수는 라벨이 부여된 연결 인스턴스가 극히 적은 경우, 심지어 라벨이 없거나 부정적 데이터만으로도 견고한 학습을 가능하게 한다.
• 프레임워크는 선형 시간 훈련 복잡도를 달성하여 대규모 다중 그래프 환경에 매우 확장 가능하다.
• 엔티티 연결과 함께 공동 훈련하면 중복 엔티티에 대해 특히 더 정렬이 잘 되어 의미적으로 일관된 임베딩를 얻을 수 있다.
• 프레임워크의 인덕티브 성격 덕분에 재학습 없이도 새로운 그래프에 일반화할 수 있다.