[논문 리뷰] Neural Query Language: A Knowledge Base Query Language for Tensorflow

William W. Cohen, M.A. Siegler외 1명|arXiv (Cornell University)|2019. 05. 15.

Neural Networks and Applications참고 문헌 7인용 수 5

한 줄 요약

Neural Query Language (NQL)는 지식 기반(KB) 연산을 미분 가능한 텐서 연산으로 표현함으로써 신경망에 지식 기반을 원활하게 통합할 수 있도록 해주는, 텐서플로우 기반의 미분 가능한 쿼리 언어이다. 이는 소프트 상징적 KB를 기반으로 하는 엔티티 연결, 관계 추출, 쿼리 템플릿 학습 등의 작업을 수행하는 모델의 엔드 투 엔드 학습을 가능하게 하며, 단일 GPU에서 수백만 개의 KB 튜플을 지원한다.

ABSTRACT

Large knowledge bases (KBs) are useful for many AI tasks, but are difficult to integrate into modern gradient-based learning systems. Here we describe a framework for accessing soft symbolic database using only differentiable operators. For example, this framework makes it easy to conveniently write neural models that adjust confidences associated with facts in a soft KB; incorporate prior knowledge in the form of hand-coded KB access rules; or learn to instantiate query templates using information extracted from text. NQL can work well with KBs with millions of tuples and hundreds of thousands of entities on a single GPU.

연구 동기 및 목표

• 기울기 기반 학습 시스템이 미분 가능한 연산을 사용해 소프트 상징적 지식 기반을 직접 쿼리하고 업데이트할 수 있도록 하기 위해.
• 엔티티 연결, 관계 추출, KB 기반의 쿼리 추론을 수행하는 신경 모델의 엔드 투 엔드 학습을 지원하기 위해.
• 텐서플로우에서 미분 가능한 텐서 계산으로 복잡한 KB 쿼리를 표현할 수 있는 고수준이고 가독성이 높은 인터페이스를 제공하기 위해.
• 신경 모델이 쿼리 템플릿과 지식 기반 액세스 규칙을 학습할 수 있도록 하여 유도 논리 프로그래밍 유사한 추론을 가능하게 하기 위해.
• 기존의 KB 쿼리 언어(예: SQL, SPARQL)의 한계를 극복하기 위해, 미분 가능하고 학습 가능한 쿼리 실행을 가능하게 하기 위해.

제안 방법

• NQL은 엔티티와 관계를 벡터와 행렬로 표현하며, 관계는 텐서플로우 내에서 희소 가중치 행렬로 인코딩된다.
• 관계 적용(s.rel()), 행렬 곱셈, 하다르드 곱셈, 벡터 덧셈과 같은 미분 가능한 연산을 지원한다.
• s.follow(r) 연산을 통해 관계를 미분 가능한 방식으로 연결할 수 있으며, 다단계 추론 경로의 학습을 지원한다.
• 관계에 변수 바인딩을 지원함으로써 동적 쿼리 생성과 신경 모델과의 통합이 가능하다.
• 쿼리는 심볼릭 엔티티 이름을 해석할 수 있도록 타입 체크와 역참조 포인터를 갖는 텐서플로우 계산 그래프로 컴iles된다.
• 반복 모델을 통해 관계 체인의 학습을 지원하며, 관계 예측 및 정지 확률을 예측함으로써 훈련 과정에서 관찰된 깊이를 초월한 더 긴 추론 경로로의 일반화가 가능하다.

실험 결과

연구 질문

• RQ1 지식 기반에서 미분 가능한 연산을 지원하는 쿼리 언어를 설계할 수 있는가? 이는 신경 모델의 엔드 투 엔드 학습을 가능하게 하는가?
• RQ2 표현력이나 확장성 손실 없이 소프트 상징적 지식 기반을 기울기 기반 학습 시스템에 통합할 수 있는가?
• RQ3 NQL는 다단계 추론 경로의 학습을 지원할 수 있으며, 훈련 과정에서 볼 수 없었던 추론 깊이로의 일반화가 가능한가?
• RQ4 NQL는 다양한 구성 요소를 사용해 기존의 KB 연산(예: 조인)을 얼마나 잘 모방할 수 있는가?
• RQ5 NQL는 단일 GPU에서 수백만 개의 튜플과 수십만 개의 엔티티를 포함한 대규모 지식 기반에 얼마나 효율적으로 확장될 수 있는가?

주요 결과

• NQL는 텐서플로우의 유일한 미분 가능한 연산자만을 사용하여 소프트 상징적 지식 기반을 기반으로 하는 신경 모델의 엔드 투 엔드 미분 가능한 학습을 가능하게 한다.
• 프레임워크는 반복 모델을 통해 다단계 쿼리 템플릿의 학습을 지원하며, 훈련 과정에서 관찰된 것보다 긴 추론 경로로의 일반화가 가능하다.
• NQL는 수백만 개의 튜플과 수십만 개의 엔티티를 포함한 지식 기반에 대해 효율적으로 확장되며, 단일 GPU에서 효과적으로 실행된다.
• NQL는 엔티티 연결 및 관계 추출 모델과 같은 신경 구성 요소를 직접 지식 기반 쿼리 파이프라인에 통합할 수 있으며, 전체 시스템을 거쳐 기울기가 역전파된다.
• NQL는 직접적으로 튜플을 반환하지는 않지만(예: SQL 조인과 유사), 인덱스 기반 엔티티 유형과 미분 가능한 관계 조합을 사용해 이러한 연산을 모방할 수 있다.
• NQL의 구현은 경량이며, 직접 텐서플로우 계산 그래프로 컴iles되며, 타입 안정성과 희소 행렬 연산 지원 기능을 제공한다.