[논문 리뷰] Reasoning over RDF Knowledge Bases using Deep Learning

Monireh Ebrahimi, Md Kamruzzaman Sarker외 4명|arXiv (Cornell University)|2018. 11. 09.

Semantic Web and Ontologies참고 문헌 21인용 수 11

한 줄 요약

이 논문은 위치 인코딩과 정규화된 표현을 사용하여 RDF 지식 그래프에서 상징적 추론을 모방하는 메모리 네트워크 기반 딥러닝 모델을 제안한다. 이로 인해 논리적 추론에서 높은 정밀도와 재현율을 달성한다. 모델은 재학습 없이도 도메인 간 일반화가 가능하며, 비정규화된 기준 모델을 능가하고, 전이 가능성과 노이즈에 대한 강건성도 높게 보여준다.

ABSTRACT

Semantic Web knowledge representation standards, and in particular RDF and OWL, often come endowed with a formal semantics which is considered to be of fundamental importance for the field. Reasoning, i.e., the drawing of logical inferences from knowledge expressed in such standards, is traditionally based on logical deductive methods and algorithms which can be proven to be sound and complete and terminating, i.e. correct in a very strong sense. For various reasons, though, in particular, the scalability issues arising from the ever-increasing amounts of Semantic Web data available and the inability of deductive algorithms to deal with noise in the data, it has been argued that alternative means of reasoning should be investigated which bear high promise for high scalability and better robustness. From this perspective, deductive algorithms can be considered the gold standard regarding correctness against which alternative methods need to be tested. In this paper, we show that it is possible to train a Deep Learning system on RDF knowledge graphs, such that it is able to perform reasoning over new RDF knowledge graphs, with high precision and recall compared to the deductive gold standard.

연구 동기 및 목표

• 대규모 RDF 지식 그래프에서 기존의 상징적 추론 기법의 확장성 및 노이즈 데이터에 대한 강건성에 대한 한계를 해결하기 위해.
• 유사도 기반 유도가 아니라 추론 기반의 딥러닝 모델을 개발하기 위해.
• 재학습이나 미세조정 없이도 새로운 도메인에 대해 제로샷 전이를 가능하게 하기 위해.
• 정규화된 표현 학습을 통해 OOV(Out-of-Vocabulary) 엔티티에 대한 일반화를 향상시키기 위해.
• 신경망 아키텍처를 사용하여 지식 그래프에서 장거리 추론 경로를 학습하는 것이 가능한지 탐색하기 위해.

제안 방법

• 메모리에 저장된 명시적 지식에 대해 다중 히든 스테이지 어텐션을 수행하는 엔드 투 엔드 메모리 네트워크(MemN2N)를 사용하여 논리적 추론 단계를 모방한다.
• 표현 안정성과 추론 성능 향상을 위해 엔티티 및 관계 임베딩에 정규화 기법을 도입한다.
• RDF 삼항관계의 주어-서술어-목적어 순서를 유지하기 위해 위치 인코딩을 적용하여 구조적 인식 능력을 향상시킨다.
• 논리적 함의(함의됨 vs. 함의되지 않음)를 예측하기 위해 스코어링 목적함수를 사용하여 RDF 삼항관계에서 엔드 투 엔드로 모델을 훈련시킨다.
• 학습된 임베딩의 기하학적 및 의미적 군집화를 분석하기 위해 t-SNE와 PCA 시각화를 수행한다.
• 위치 인코딩을 제거하여 성능에 미치는 영향을 평가하기 위해 아블레이션 스터디를 실시한다.

실험 결과

연구 질문

• RQ1 한 RDF 지식 그래프에서 훈련된 딥러닝 모델이 재학습 없이도 완전히 다른 도메인에서 정확한 논리적 추론을 수행할 수 있는가?
• RQ2 위치 인코딩은 RDF 삼항관계의 구조를 학습하고 일반화하는 데 모델의 능력에 어떤 영향을 미치는가?
• RQ3 신경망 모델이 기하학적 유사도에 의존하기보다는 상징적 추론을 얼마나 잘 모방할 수 있는가?
• RQ4 임베딩의 정규화는 추론 성능과 OOV 엔티티에 대한 강건성에 어떤 영향을 미치는가?
• RQ5 모델는 장거리 추론 경로를 학습할 수 있는 능력이 있는가? 데이터 분포는 이 능력에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 OWL-Centric 데이터셋에서 F-메asures 95%를 달성하여 비정규화 기준 모델을 능가하고, 도메인 간 강력한 일반화 능력을 보여준다.
• 위치 인코딩을 제거하면 정확도에 심각한 하락이 발생한다(예: 합성 데이터에서 73%에서 52%로 감소), 이는 구조적 추론에 있어 위치 인코딩의 중요성을 확인한다.
• 모델는 재학습이나 미세조정 없이도 제로샷 도메인으로 효과적으로 일반화되며, 높은 정밀도와 재현율을 유지한다.
• 장거리 경로에 대한 훈련 데이터가 제한되어 있음에도 불구하고, 메모리 네트워크의 본질적 능력 덕분에 10회 이상의 힙스 추론 가능성이 나타났다.
• 아블레이션 스터디에서 위치 인코딩을 제거했을 경우, 모든 0 패딩 토큰이 음성으로 잘못 분류되는 것으로 나타나, 이는 구조적 인식 능력에서 위치 인코딩의 역할을 강조한다.
• 시각화 결과, 정규화된 임베딩이 의미 공간에서 의미 있는 군집을 형성하는 것으로 나타나 효과적인 추론을 지원한다.