[논문 리뷰] Learning First-Order Rules with Relational Path Contrast for Inductive Relation Reasoning

Yudai Pan, Jun Liu외 4명|arXiv (Cornell University)|2021. 10. 17.

Advanced Graph Neural Networks참고 문헌 29인용 수 7

한 줄 요약

이 논문은 지식 그래프에서 인덕티브 관계 추론을 위한 새로운 그래프 컨volution 네트워크 기반 방법인 RPC-IR을 제안한다. 이 방법은 관계 경로 대비 학습을 통해 해석 가능한 일阶 규칙을 학습한다. 관계 경로를 추출하고 대비 전략을 적용하여 자기지도 학습을 향상시킴으로써, RPC-IR은 세 개의 인덕티브 데이터셋에서 최신 기술 수준의 성능을 달성하면서도 논리적 규칙을 명시적으로 표현하여 해석 가능성을 확보한다.

ABSTRACT

Relation reasoning in knowledge graphs (KGs) aims at predicting missing relations in incomplete triples, whereas the dominant paradigm is learning the embeddings of relations and entities, which is limited to a transductive setting and has restriction on processing unseen entities in an inductive situation. Previous inductive methods are scalable and consume less resource. They utilize the structure of entities and triples in subgraphs to own inductive ability. However, in order to obtain better reasoning results, the model should acquire entity-independent relational semantics in latent rules and solve the deficient supervision caused by scarcity of rules in subgraphs. To address these issues, we propose a novel graph convolutional network (GCN)-based approach for interpretable inductive reasoning with relational path contrast, named RPC-IR. RPC-IR firstly extracts relational paths between two entities and learns representations of them, and then innovatively introduces a contrastive strategy by constructing positive and negative relational paths. A joint training strategy considering both supervised and contrastive information is also proposed. Comprehensive experiments on three inductive datasets show that RPC-IR achieves outstanding performance comparing with the latest inductive reasoning methods and could explicitly represent logical rules for interpretability.

연구 동기 및 목표

• 인덕티브 지식 그래프 추론에서 엔티티에 의존하지 않는 관계 의미를 해결하기 위해.
• 숨겨진 규칙 부족으로 인한 서브그래프 내 부족한 지도 신호 문제를 극복하기 위해.
• 해석 가능하고 논리적인 일阶 규칙을 갖춘 인덕티브 추론을 가능하게 하기 위해.
• 특정 엔티티에 종속되지 않는 관계 시퀀스 의미를 학습하여 미리보지 않은 엔티티에 대한 일반화 성능을 향상시키기 위해.
• 대비적 관계 경로 학습을 통해 지도 학습과 자기지도 학습을 통합하기 위해.

제안 방법

• RPC-IR은 각 서브그래프 내에서 정해진 길이 이내의 엔티티 간 관계 경로를 추출한다.
• 이 경로들을 그래프 컨volution 네트워크(GCN)를 사용하여 표현함으로써 엔티티에 관계없는 관계 의미를 학습한다.
• 양성 및 음성 관계 경로 쌍을 구성하여 대비 학습 전략을 도입함으로써 자기지도 신호를 강화한다.
• 레이블이 붙은 삼중항에서 온 지도 학습 손실과 양성/음성 경로 쌍에서 온 대비 손실을 함께 최적화한다.
• 고신뢰도 관계 경로에서 일阶 규칙을 유도하며, 신뢰도 점수는 추론 신뢰성의 지표로 사용된다.
• 특정 엔티티에 대한 재학습 없이도 서브그래프의 구조로부터 일반화함으로써 인덕티브 추론을 지원한다.

실험 결과

연구 질문

• RQ1 관계 경로 대비 학습이 지식 그래프의 인덕티브 관계 추론을 향상시키는가?
• RQ2 RPC-IR은 서브그래프 경로로부터 엔티티에 의존하지 않는 관계 의미를 얼마나 효과적으로 학습하는가?
• RQ3 지도 학습과 대비 학습을 함께 적용했을 때 인덕티브 벤치마크 성능 향상 정도는 어떠한가?
• RQ4 모델은 추론 예측을 설명할 수 있는 해석 가능한 일阶 규칙을 생성할 수 있는가?
• RQ5 하이퍼파rameter λ₁와 λ₂가 다양한 데이터셋에서 성능에 어떤 영향을 미치는가?

주요 결과

• RPC-IR은 완전히 인덕티브인 세 가지 데이터셋(WN18RR, FB15K-237, NELL-995)에서 최신 기술 수준의 성능을 달성한다.
• FB15K-237_v1에서 RPC-IR은 λ₁=0.8과 λ₂=0.8 조건에서 AUC-PR 0.82를 기록하며 이전의 인덕티브 방법들을 능가한다.
• 모델은 'partOf(X,Z) ∧ locatedIn(Z,Y) → liveIn(X,Y)'와 같은 명시적 일阶 규칙을 고신뢰도(예: 1.00)로 학습한다.
• 사례 연구 결과, 신뢰도 <0.01인 규칙들은 필터링되며, 이는 신뢰도 높은 규칙 추출이 가능함을 시사한다.
• 하이퍼파rameter 분석 결과, 최적의 λ₁와 λ₂ 값은 데이터셋에 따라 다르며, FB15K-237에서는 균형 잡힌 지도 학습이 가장 효과적임을 확인했다.
• 대비 전략은 서브그래프 내 희박한 지도 신호 문제를 완화함으로써 성능 향상에 크게 기여한다.