[논문 리뷰] Recurrent One-Hop Predictions for Reasoning over Knowledge Graphs

Wenpeng Yin, Yadollah Yaghoobzadeh외 1명|arXiv (Cornell University)|2018. 06. 12.

Advanced Graph Neural Networks참고 문헌 18인용 수 4

한 줄 요약

이 논문은 RNN 기반 프레임워크인 ROP(Recurrent One-Hop Predictors)를 제안하며, 순차적으로 각 단계에서 엔티티를 예측하는 재귀 신경망을 사용하여 다단계 지식 그래프(KG) 경로를 모델링한다. 각 단계에서 엔티티 및 관계 임베딩을 학습 신호로 업데이트함으로써, 다단계 지식 기반 보완 및 경로 쿼리 답변에서 최신 기술 성능을 달성하며, 개선된 데이터셋에서 H@10을 최대 6% 향상시킨다.

ABSTRACT

Large scale knowledge graphs (KGs) such as Freebase are generally incomplete. Reasoning over multi-hop (mh) KG paths is thus an important capability that is needed for question answering or other NLP tasks that require knowledge about the world. mh-KG reasoning includes diverse scenarios, e.g., given a head entity and a relation path, predict the tail entity; or given two entities connected by some relation paths, predict the unknown relation between them. We present ROPs, recurrent one-hop predictors, that predict entities at each step of mh-KB paths by using recurrent neural networks and vector representations of entities and relations, with two benefits: (i) modeling mh-paths of arbitrary lengths while updating the entity and relation representations by the training signal at each step; (ii) handling different types of mh-KG reasoning in a unified framework. Our models show state-of-the-art for two important multi-hop KG reasoning tasks: Knowledge Base Completion and Path Query Answering.

연구 동기 및 목표

• 불완전한 지식 그래프에서 긴, 임의의 길이를 가진 다단계 경로에 대한 추론 문제를 해결하기 위해.
• 지식 기반 보완 및 경로 쿼리 답변과 같은 다양한 다단계 KG 추론 작업을 하나의 종단 간 훈련 가능한 프레임워크로 통합하기 위해.
• 최종 예측 단계가 아닌 각 경로 단계에서 훈련 신호를 통합함으로써 엔티티 및 관계 표현 학습을 향상시키기 위해.
• 경로 쿼리 답변에서 엔티티의 맥락이 관계 예측에 영향을 미치는 바, 중간 단계의 엔티티를 모델링하는 것이 중요함을 입증하기 위해.
• 미래 연구를 지원하기 위해 경로 내 엔티티를 포함한 개선된 BaseKGP 데이터셋을 공개하기 위해.

제안 방법

• ROP는 다단계 KG 경로의 관계 시퀀스를 한 단계씩 처리하여 해당하는 중간 엔티티 시퀀스를 예측하기 위해 재귀 신경망(RNN)을 사용한다.
• 각 단계에서 현재 관계 임베딩과 이전 단계의 은닉 상태를 입력으로 받아 다음 엔티티를 예측하고, 이에 따라 은닉 상태를 업데이트한다.
• 세 가지 아키텍처가 제안된다: ROP_ARC1, ROP_ARC2, ROP_ARC3. 이들은 중간 엔티티 예측을 위한 은닉 상태에 헤드 엔티티와 이전 예측 결과를 통합하는 방식에서 차이를 가진다.
• ROP_ARC2는 각 단계에서 헤드 엔티티 표현을 RNN의 은닉 상태에 직접 통합함으로써 장기 경로에서도 헤드 엔티티의 영향력이 유지되도록 하여 성능을 향상시킨다.
• ROP_ARC3는 이전에 예측된 엔티티의 임베딩도 다음 단계의 입력에 포함시켜 최근 맥락을 활용함으로써 예측을 더욱 향상시킨다.
• 더 나은 기울기 흐름과 표현력을 확보하기 위해 GRU 또는 eGRU(향상된 GRU)를 사용하며, 간단한 덧셈(ADD) 메커니즘보다 성능이 뛰어나다.

실험 결과

연구 질문

• RQ1 재귀 신경망이 임의의 길이를 가진 다단계 KG 경로를 효과적으로 모델링하면서도 강력한 추론 성능을 유지할 수 있는가?
• RQ2 각 단계에서 중간 엔티티 및 관계의 훈련 신호를 통합함으로써 엔티티 및 관계 임베딩의 품질이 향상되는가?
• RQ3 단일 통합 프레임워크가 다단계 지식 기반 보완 및 경로 쿼리 답변 작업을 효과적으로 처리할 수 있는가?
• RQ4 비대칭 관계가 존재할 경우, 경로 쿼리 답변에서 중간 엔티티의 포함 여부가 추론 성능에 미치는 영향은 어떠한가?
• RQ5 다른 RNN 아키텍처(예: GRU 대비 ADD)와 주의 메커니즘의 차이가 예측 정확도에 얼마나 큰 영향을 미치는가?

주요 결과

• eGRU를 사용한 ROP_ARC3는 개선된 BaseKGP 데이터셋에서 H@10 56.7%의 새로운 최고 성능을 기록하며, 이는 이전 베이스라인 대비 6% 향상된 결과이다.
• GRU를 사용한 ROP_ARC2는 BaseKGP에서 H@10 54.9%를 기록했고, EnhancedKGP에서는 56.3%를 달성하여 Comp-TransE보다 H@10에서 4% 이상 뛰어나다.
• 짝수 길이 경로에서의 성능 저하와 역관계 존재 여부 사이에 강한 상관관계(rho > 0.9)가 있었으며, 이는 1:N 역관계에 대한 모델링 과제임을 시사한다.
• 각 단계에서 헤드 엔티티를 직접 예측에 통합하는 ROP_ARC2가 초기 은닉 상태로만 사용하는 ROP_ARC1보다 성능이 뛰어나, 장거리에서의 헤드 엔티티 영향력이 핵심임을 입증한다.
• 이전에 예측된 엔티티의 임베딩을 포함시킨 ROP_ARC3는 성능을 추가로 향상시켰으며, 이는 장기 경로에서 최근 맥락이 정확한 엔티티 예측에 매우 중요함을 보여준다.
• eGRU 버전은 항상 ADD 메커니즘보다 뛰어나 성능을 보였으며, 이는 KG 추론에서 장기 의존성을 포착하는 데에 게이트 메커니즘이 중요함을 강조한다.