[논문 리뷰] Deep Learning for Ontology Reasoning

Patrick Hohenecker, Thomas Lukasiewicz|arXiv (Cornell University)|2017. 05. 29.

Semantic Web and Ontologies참고 문헌 7인용 수 30

한 줄 요약

이 논문은 깊이 학습 기반 접근 방식을 제안하며, 재귀 신경망(RTN) 모델을 사용하여 온톨로지 추론을 수행한다. 이는 전통적인 논리 기반 추론기인 RDFox와 비교해 최대 100배 빠른 속도를 기록하면서도 높은 추론 정확도를 달성한다. 이 방법은 엔티티와 관계에 대한 분포형 임베딩을 학습함으로써 GPU에서의 벡터 공간 계산을 통해 대규모 온톨로지 지식 기반에서 효율적인 추론을 가능하게 한다.

ABSTRACT

In this work, we present a novel approach to ontology reasoning that is based on deep learning rather than logic-based formal reasoning. To this end, we introduce a new model for statistical relational learning that is built upon deep recursive neural networks, and give experimental evidence that it can easily compete with, or even outperform, existing logic-based reasoners on the task of ontology reasoning. More precisely, we compared our implemented system with one of the best logic-based ontology reasoners at present, RDFox, on a number of large standard benchmark datasets, and found that our system attained high reasoning quality, while being up to two orders of magnitude faster.

연구 동기 및 목표

• 심볼릭 논리 기반 온톨로지 추론의 확장성과 내성 문제를 깊이 학습을 활용해 해결하고자 한다.
• 기존의 형식적 추론기보다 불완전하거나 모순되거나 불확실한 데이터를 더 효과적으로 다룰 수 있는 통계적 관계 학습 모델을 개발하고자 한다.
• 고정밀 추론 정확도를 유지하면서도 깊이 신경망을 사용해 빠르고 확장 가능한 온톨로지 추론을 가능하게 하고자 한다.
• 제안된 방법이 대규모 실세계 지식 기반 벤치마크에서 최첨단 논리 기반 추론기들과 비교하여 평가되도록 하고자 한다.

제안 방법

• 이 방법은 온톨로지 지식 기반 내의 엔티티와 관계에 대해 분포형 벡터 임베딩을 학습하기 위해 재귀 신경망(RTN)을 활용한다.
• RTN은 논리적 표현을 트리 구조의 계산 그래프로 처리하며, 하위 표현의 표현을 재귀적으로 통합하여 고차원 임베딩을 형성한다.
• 추론은 임베딩 벡터 간의 유사도 점수를 계산하여 수행되며, 이는 기호 데이터 위에서의 엔드 투 엔드 미분 가능 추론을 가능하게 한다.
• 모델은 전체 지식 기반을 대상으로 학습하는 것이 아니라 온톨로지 자체에서만 학습되므로, 시스템 설정 단계로 사전 학습이 가능하다.
• 추론은 논리 기반 시스템의 기호적 추론과 대비해 GPU에서 효율적인 벡터 연산을 통해 수행된다.
• 이 프레임워크는 통합된 임베딩 공간에서 단항(클래스 소속) 및 이항(관계) 술어 추론을 모두 지원한다.

실험 결과

연구 질문

• RQ1 재귀 신경망 기반 깊이 학습 모델이 대규모 온톨로지 지식 기반에서 논리 기반 추론기와 유사한 추론 성능을 달성할 수 있는가?
• RQ2 RDFox와 같은 최첨단 논리 기반 추론기와 비교해 제안된 방법의 추론 속도는 어떻게 스케일링되는가?
• RQ3 학습된 임베딩가 표현력 있는 온톨로지에서 복잡한 논리적 관계의 의미를 어느 정도 정확히 포착할 수 있는가?
• RQ4 실세계 데이터셋에서 클래스와 관계의 불균형이 존재하더라도 모델이 높은 정확도를 유지할 수 있는가?

주요 결과

• 제안된 NeTS 시스템은 Claros 데이터셋에서 평균 F1 점수 0.954, DBpedia에서 0.959, LUBM에서 0.948, OUBM에서 0.953을 기록하여 뛰어난 추론 정확도를 입증했다.
• 네 가지 벤치마크 데이터셋 전반에서 단항 술어에 대해 평균 정확도가 96% 이상, 이항 술어에 대해선 95% 이상을 기록하여 뛰어난 내성 성능을 입증했다.
• 모든 데이터셋에서 NeTS는 RDFox 대비 최대 100배 빠른 속도로 자료 물질화 프로세스를 수행했으며, 추론 시간은 28~11초로 측정되었고, RDFox는 2062~467초가 소요되었다.
• RDFox는 데이터 임포트 단계에서 더 빠른 성능(예: Claros에서 48초 대비 242초)을 보였지만, 자주 발생하는 데이터 업데이트를 고려할 때 NeTS의 자료 물질화 속도 우월성이 실질적으로 더 큰 영향을 미친다.
• RTN 모델의 학습 단계는 각 데이터셋당 3~4일이 소요되었지만, 이는 온라인 추론과 별개의 일회성 설정 비용으로 간주된다.
• 결과적으로 깊이 학습 기반 추론이 정확도 면에서 논리 기반 추론을 따라하거나 초월할 수 있으며, 대규모 지식 기반에서 속도 면에서 크게 앞서는 것으로 나타났다.