[논문 리뷰] Link Prediction using Embedded Knowledge Graphs

Yelong Shen, Po-Sen Huang외 2명|arXiv (Cornell University)|2016. 11. 14.

Advanced Graph Neural Networks참고 문헌 44인용 수 7

한 줄 요약

이 논문은 인간이 설계한 경로 샘플링에 의존하지 않고 공동으로 훈련된 임bedded 지식 그래프에서 상호작용적 검색 연산을 수행하도록 학습하는 새로운 접근법인 임bedded 지식 그래프 네트워크(EKGN)를 제안한다. 임bedded 지식 그래프와 제어기 RNN을 종합적으로 훈련함으로써 EKGN은 보조 지식이나 명시적 경로 탐색을 사용하지 않고도 WN18, FB15k, FB15k-237 벤치마크에서 최신 기술 수준(SOTA) 성능을 달성한다.

ABSTRACT

Since large knowledge bases are typically incomplete, missing facts need to be inferred from observed facts in a task called knowledge base completion. The most successful approaches to this task have typically explored explicit paths through sequences of triples. These approaches have usually resorted to human-designed sampling procedures, since large knowledge graphs produce prohibitively large numbers of possible paths, most of which are uninformative. As an alternative approach, we propose performing a single, short sequence of interactive lookup operations on an embedded knowledge graph which has been trained through end-to-end backpropagation to be an optimized and compressed version of the initial knowledge base. Our proposed model, called Embedded Knowledge Graph Network (EKGN), achieves new state-of-the-art results on popular knowledge base completion benchmarks.

연구 동기 및 목표

• 다중 힙 관계에 대한 구조적 추론을 통해 지식 기반의 불완전성 문제를 해결하기 위해 다중 힙 관계를 기반으로 한 링크 예측 성능을 향상시키는 것.
• 기존 방법이 상징 공간에서 인간이 설계한 경로 샘플링에 의존하는 데서 비롯되는 계산 비용이 높고 종종 최적화되지 않은 한계를 극복하는 것.
• 효율적이고 적응적인 추론을 지원하는, 작업 최적화된 벡터 공간 내의 압축된 표현을 학습하는 것.
• 제어기와 임bedded 지식 그래프를 함께 훈련시켜 모델이 언제 멈출지, 어떤 관련 검색 시퀀스를 생성할지를 학습하도록 하는 것.
• 보조 지식 기반이나 경로 탐색 히ュ리스틱을 사용하지 않고도 표준 지식 기반 완성 벤치마크에서 최신 기술 수준 성능을 달성하는 것.

제안 방법

• 모델은 임bedded 지식 그래프(EKG)를 사용하며, 이는 무작위 벡터로 초기화된 학습 가능한 가중치 행렬로, 역전파를 통해 압축되고 작업에 특화된 벡터 공간에서 지식 기반을 표현하기 위해 공동으로 훈련된다.
• 제어기로는 순환 신경망(RNN)을 구현하여, 각 단계에서 임bedded 지식 그래프를 주의적으로 분석함으로써 맥락 인식 쿼리 벡터를 생성하는 검색 시퀀스를 생성한다.
• 각 단계에서 제어기는 주의 메커니즘을 사용하여 임bedded 지식 그래프에 대해 가중치 합을 계산하고, 검색된 맥락에 기반해 은닉 상태를 업데이트한다.
• 제어기는 학습 가능한 종료 모듈을 포함하여 검색 시퀀스를 멈출지를 예측함으로써 적응형 추론 길이를 가능하게 한다.
• 전체 시스템은 훈련 세트에서 링크 예측 정확도를 최적화하는 미분 가능한 목적 함수를 사용하여 엔드 투 엔드로 훈련된다.
• 임bedded 지식 그래프는 추론 중에 명시적으로 저장되거나 업데이트되지 않으며, 대신 제어기의 정적이고 최적화된 검색 테이블로 기능한다.

실험 결과

연구 질문

• RQ1 인간이 설계한 경로 샘플링에 의존하지 않고도 신경망이 지식 그래프에서 효과적이고 적응적인 추론을 학습할 수 있는가?
• RQ2 엔드 투 엔드로 훈련된 임bedded 지식 그래프가 기존의 경로 기반 모델보다 더 효과적으로 복잡한 다중 힙 관계를 포착할 수 있는가?
• RQ3 압축된 학습된 벡터 공간 표현에서 상호작용적 검색을 학습함으로써 표준 벤치마크에서 링크 예측 성능이 향상되는가?
• RQ4 제어기가 입력과 임bedded 그래프에 기반해 단순히 감독 없이 최적의 검색 단계 수를 결정할 수 있는가?
• RQ5 보조 지식 기반이나 명시적 경로 탐색을 사용하지 않고도 지식 기반 완성에서 최신 기술 수준의 성능을 달성할 수 있는가?

주요 결과

• EKGN은 WN18 벤치마크에서 새로운 최신 기술 수준 성능를 기록하여, 평균 역수 순위(MRR)와 Hits@10 지표에서 이전 방법을 능가한다.
• FB15k 벤치마크에서 EKGN은 MRR 0.837과 Hits@10 0.958을 기록하여 새로운 최신 기술 수준 성능를 확립했다.
• 더 도전적인 FB15k-237 벤치마크에서 EKGN은 MRR 0.618과 Hits@10 0.812를 기록하여 이전 모델을 크게 앞서 갔다.
• 제거 실험 결과, 제어기의 종료 모듈을 제거하거나 주의 메커니즘을 비활성화하면 성능에 심각한 하락이 발생하여 적응형 추론의 중요성을 확인했다.
• 복합적 구성 관계인 (Obama, BornIn, Hawaii) → (Hawaii, PartOf, USA)와 같은 다양한 관계 유형에 대해도 명시적 경로 감독 없이도 모델이 잘 일반화됨을 보였다.
• EKGN 프레임워크는 보조 지식 기반이나 외부 경로 탐색이 필요 없으며, 이는 임bedded 그래프와 제어기의 엔드 투 엔드 훈련을 통해 효과적인 추론이 자생적으로 유도될 수 있음을 보여준다.