[논문 리뷰] SAFRAN: An interpretable, rule-based link prediction method outperforming embedding models

Simon Ott, Christian Meilicke외 1명|arXiv (Cornell University)|2021. 09. 16.

Advanced Graph Neural Networks인용 수 9

한 줄 요약

SAFRAN은 기존의 규칙 기반 방법과 여러 최신 임베딩 모델보다 표준 벤치마크에서 뛰어난 성능을 보이는 새로운 해석 가능하고 규칙 기반의 링크 예측 프레임워크를 소개한다. 이는 중복 규칙을 탐지하고 클러스터링한 후 집계하는 비중복 노이즈 OR 집계 방법을 사용함으로써 달성된다. 이는 예측 성능을 크게 향상시키면서도 해석 가능성은 유지한다.

ABSTRACT

Neural embedding-based machine learning models have shown promise for predicting novel links in knowledge graphs. Unfortunately, their practical utility is diminished by their lack of interpretability. Recently, the fully interpretable, rule-based algorithm AnyBURL yielded highly competitive results on many general-purpose link prediction benchmarks. However, current approaches for aggregating predictions made by multiple rules are affected by redundancies. We improve upon AnyBURL by introducing the SAFRAN rule application framework, which uses a novel aggregation approach called Non-redundant Noisy-OR that detects and clusters redundant rules prior to aggregation. SAFRAN yields new state-of-the-art results for fully interpretable link prediction on the established general-purpose benchmarks FB15K-237, WN18RR and YAGO3-10. Furthermore, it exceeds the results of multiple established embedding-based algorithms on FB15K-237 and WN18RR and narrows the gap between rule-based and embedding-based algorithms on YAGO3-10.

연구 동기 및 목표

• 신경망 임베딩 기반 링크 예측 모델의 해석 가능성 부족 문제를 해결하기 위해.
• 규칙 집합 내 기능적 중복으로 인해 발생하는 규칙 기반 방법의 성능 한계를 극복하기 위해.
• 해석 가능성 손실 없이도 예측 정확도를 향상시키는 스케일러블하고 효율적인 규칙 적용 프레임워크를 개발하기 위해.
• AnyBURL을 넘어서 일반적으로 적용 가능한 집계 방법을 제공하여 지식 그래프 완성 분야에서 상징적 AI의 실용적 유용성을 높이기 위해.
• 표준 벤치마크에서 해석 가능한 규칙 기반 모델과 투명하지 않은 임베딩 모델 간의 성능 격차를 좁히기 위해.

제안 방법

• SAFRAN은 AnyBURL이 학습한 규칙을 비중복 노이즈 OR 집계 전략을 사용하여 처리하는 새로운 규칙 적용 프레임워크를 도입한다.
• 이 방법은 먼저 규칙 본문과 머리 부분의 구조적 및 의미적 유사성 기반으로 중복 규칙를 클러스터링하여 탐지한다.
• 중복 규칙는 클러스터로 묶이며, 각 클러스터 내에서 가장 확신도가 높은 규칙만 유지되어 증거의 중복 계산을 방지한다.
• 비중복 노이즈 OR 집계는 비중복 규칙의 신뢰도 점수를 확률적 유니온 모델을 사용해 조합함으로써 강건성과 예측 능력을 향상시킨다.
• 이 프레임워크는 모듈식으로 설계되어 AnyBURL에 국한되지 않은 모든 규칙 기반 시스템에 적용 가능하다.
• 기존의 규칙 추출 파이프라인을 활용하지만, 지능적인 중복 처리를 통해 후행 응용 단계의 성능을 크게 향상시킨다.

실험 결과

연구 질문

• RQ1 해석 가능한 규칙 기반 링크 예측 시스템이 해석 가능성은 그대로 유지하면서도 최신 성능을 달성할 수 있는가?
• RQ2 중복 규칙의 존재가 상징적 링크 예측에서 규칙 집계 성능에 어떤 영향을 미치는가?
• RQ3 중복 규칙를 탐지하고 클러스터링하는 새로운 집계 전략이 규칙 기반 링크 예측의 예측 정확도를 향상시킬 수 있는가?
• RQ4 표준 벤치마크인 FB15K-237과 WN18RR에서 규칙 기반 시스템이 얼마나 임베딩 기반 모델을 능가할 수 있는가?
• RQ5 비중복 노이즈 OR 집계 방법이 지식 그래프에서 규칙 적용을 위한 확장 가능하고 일반화 가능한 해결책을 제공하는가?

주요 결과

• SAFRAN은 FB15K-237, WN18RR, YAGO3-10에서 완전히 해석 가능한 링크 예측 방법 중 최신 성능을 달성했다.
• FB15K-237와 WN18RR에서 여러 확립된 임베딩 기반 모델을 능가하여, 해석 가능한 모델이 투명하지 않은 접근 방식과 견줄 만한 성능을 낼 수 있음을 입증했다.
• 비중복 노이즈 OR 집계 방법은 규칙 중복의 부정적 영향을 효과적으로 줄여 성능 향상이 명백하게 나타났다.
• 이 프레임워크는 규칙 기반 모델과 임베딩 기반 모델 간의 성능 격차를 성공적으로 좁혔으며, 특히 YAGO3-10에서 격차를 크게 줄였다.
• 모든 예측에 대해 즉각적인 인간이 읽을 수 있는 설명을 제공하여 데이터와 규칙셋 내의 클러스터링 패턴을 드러냈다.
• 이 방법은 일반화 가능하며, 예측에 대한 신뢰도 점수를 생성하는 모든 규칙 기반 시스템에 적용 가능하다.