[논문 리뷰] Towards Learning Instantiated Logical Rules from Knowledge Graphs

Yulong Gu, Yu Guan외 1명|arXiv (Cornell University)|2020. 03. 13.

Advanced Graph Neural Networks참고 문헌 32인용 수 8

한 줄 요약

이 논문은 지식 그래프에서 일관된 일阶 논리 규칙을 효율적으로 추출하기 위해 이중 단계 프로세스를 사용하는 확률적 규칙 학습기 GPFL을 소개한다: 먼저 경로를 비순환적인 추상 템플릿으로 일반화한 후, 이를 일관된 규칙으로 특수화한다. 구조적으로 유사한 규칙들 간에 지도를 공유하고, 검증을 통해 과적합된 규칙를 걸러내는 방식으로 GPFL은 평가 시간을 크게 단축시키며, 더 높은 품질의 규칙을 발견하고, 최신 기술 대비 지식 그래프 보완 성능을 향상시킨다.

ABSTRACT

Efficiently inducing high-level interpretable regularities from knowledge graphs (KGs) is an essential yet challenging task that benefits many downstream applications. In this work, we present GPFL, a probabilistic rule learner optimized to mine instantiated first-order logic rules from KGs. Instantiated rules contain constants extracted from KGs. Compared to abstract rules that contain no constants, instantiated rules are capable of explaining and expressing concepts in more details. GPFL utilizes a novel two-stage rule generation mechanism that first generalizes extracted paths into templates that are acyclic abstract rules until a certain degree of template saturation is achieved, then specializes the generated templates into instantiated rules. Unlike existing works that ground every mined instantiated rule for evaluation, GPFL shares groundings between structurally similar rules for collective evaluation. Moreover, we reveal the presence of overfitting rules, their impact on the predictive performance, and the effectiveness of a simple validation method filtering out overfitting rules. Through extensive experiments on public benchmark datasets, we show that GPFL 1.) significantly reduces the runtime on evaluating instantiated rules; 2.) discovers much more quality instantiated rules than existing works; 3.) improves the predictive performance of learned rules by removing overfitting rules via validation; 4.) is competitive on knowledge graph completion task compared to state-of-the-art baselines.

연구 동기 및 목표

• 지식 그래프에서 고품질의 일관된 논리 규칙을 효율적으로 추출하는 데 도전하는 것. 이는 더 표현력이 풍부하지만 규칙 공간이 매우 커지는 문제를 수반한다.
• 유사한 구조를 가진 규칙들 간에 지도를 공유하여 일관된 규칙 평가의 계산 비용을 줄이는 것.
• 예측 성능을 떨어뜨리는 과적합된 규칙의 영향을 식별하고 완화하는 것.
• 효과적인 규칙 필터링과 설정 튜닝을 통해 규칙 학습기의 지식 그래프 보완 작업 예측 성능을 향상시키는 것.
• 템플릿 기반 규칙 생성과 집합적 평가가 대규모 지식 그래프에서 확장 가능하고 효과적인 규칙 추출을 가능하게 한다는 것을 입증하는 것.

제안 방법

• GPFL은 이중 단계 규칙 생성 기법을 사용한다: 먼저 경로를 추출하고 이를 비순환적인 추상 규칙(템플릿)으로 일반화한 후, 이를 상수를 포함한 일관된 규칙으로 특수화한다.
• 유사한 구조를 가진 여러 규칙이 동일한 지도를 공유하는 새로운 지도 공유 전략을 사용하여 평가 시간을 크게 단축시킨다.
• 검증 방법을 적용하여 보류된 데이터 세트에서 규칙 품질을 평가함으로써 과적합된 규칙을 걸러내어 일반화 성능을 향상시킨다.
• 지식 그래프 보완에서 예측 순위를 랭킹하기 위해 최대 집합을 사용하며, 다수의 규칙에서 유도된 신뢰도 점수를 조합하여 순위 정확도를 향상시킨다.
• 규칙 길이와 유형을 최적화하기 위해 유연한 규칙 조합 구성(예: insA-carB)을 지원하여 성능 최적화를 가능하게 한다.
• 부드러운 신뢰도를 사용하여 규칙 품질을 평가하며, 이는 표준 신뢰도와 PCA보다 과적합을 줄이는 데 더 효과적임을 입증했다.

실험 결과

연구 질문

• RQ1 지식 그래프에서 과도한 계산 비용 없이 효율적으로 일관된 논리 규칙를 생성하고 평가할 수 있는 방법은 무엇인가?
• RQ2 과적합된 규칙이 일관된 규칙 학습기의 예측 성능에 미치는 영향은 무엇이며, 이를 어떻게 완화할 수 있는가?
• RQ3 템플릿 기반 규칙 생성과 지도 공유가 일관된 규칙 평가에 소요되는 시간을 크게 줄일 수 있는가?
• RQ4 신뢰도 측정 방법의 선택이 과적합 규칙 비율과 전체 규칙 품질에 미치는 영향은 무엇인가?
• RQ5 과적합된 규칙를 필터링함으로써 지식 그래프 보완 작업의 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• GPFL은 유사한 구조를 가진 규칙들 간에 지도를 공유함으로써 일관된 규칙 평가에 소요되는 런타임을 줄여 뚜렷한 효율성 향상을 이룬다.
• 시스템은 이중 단계 템플릿 기반 생성 프로세스 덕분에 기존 방법보다 훨씬 더 많은 고품질의 일관된 규칙을 발견한다.
• 검증을 통해 과적합된 규칙를 걸러내는 방식은, 과적합 요소를 0.1로 설정했을 때 상위 50개 규칙의 전역 평균 정밀도를 근처 0%에서 약 20%로 향상시켰다.
• 과적합된 규칙를 필터링한 후 GPFL의 지식 그래프 보완 예측 성능은 뚜렷이 향상되었으며, 더 큰 검증 세트를 사용하는 재분할 평가 설정에서 특히 두드러졌다.
• 앙상블 모드를 사용한 GPFL은 FB15K-237과 WN18RR에서 경쟁 가능한 성능을 달성했으며, 필터링된 MRR 및 hits@10 지표에서 강력한 논리 기반 및 임베딩 기반 기준 모델을 능가하거나 동등하게 성과를 냈다.
• 긴 일관된 규칙이 과적합의 주요 원인임이 밝혀졌으며, 일관된 규칙는 추상 규칙보다 과적합에 훨씬 더 취약함을 확인하여 신중한 검증의 필요성을 강조했다.