[논문 리뷰] Scalable Neural Methods for Reasoning With a Symbolic Knowledge Base

William W. Cohen, Haitian Sun외 2명|arXiv (Cornell University)|2020. 02. 14.

Topic Modeling참고 문헌 34인용 수 17

한 줄 요약

이 논문은 대규모 상징적 지식 기반(KB)에서 완전히 미분 가능하고 확장 가능하며 원본 KB 의미를 충실하게 반영하는 스퍼스 행렬 재현 지식 기반(KB) 표현 방식을 소개한다. 관계를 GPU에 분산 배포 가능한 스퍼스 행렬로 인코딩함으로써, 단순한 스퍼스 행렬 구현 대비 최대 10,000배 빠른 성능 향상을 달성하며, 1,300만 개 이상의 실체와 4,400만 개 이상의 사실을 포함한 KB에서 신경망 의미 분석 및 KB 보완 작업에 대한 엔드 투 엔드 학습을 지원한다.

ABSTRACT

We describe a novel way of representing a symbolic knowledge base (KB) called a sparse-matrix reified KB. This representation enables neural modules that are fully differentiable, faithful to the original semantics of the KB, expressive enough to model multi-hop inferences, and scalable enough to use with realistically large KBs. The sparse-matrix reified KB can be distributed across multiple GPUs, can scale to tens of millions of entities and facts, and is orders of magnitude faster than naive sparse-matrix implementations. The reified KB enables very simple end-to-end architectures to obtain competitive performance on several benchmarks representing two families of tasks: KB completion, and learning semantic parsers from denotations.

연구 동기 및 목표

• 엔드 투 엔드 학습을 위한 기계 학습 아키텍처에 대규모 상징적 지식 기반을 통합하는 데 도전하는 문제를 해결한다.
• 기존의 신경망 기반 KB 방법이 확장성, 원본 KB 의미에 대한 충실도, 또는 다단계 추론을 지원하지 못하는 한계를 극복한다.
• GPU 최적화된 스퍼스 행렬 표현을 사용해 수천만 개의 실체와 사실을 포함한 거대한 KB에서 효율적이고 확장 가능하며, 미분 가능한 추론을 가능하게 한다.
• 연속된 검색 및 신경망 모듈을 제거함으로써, 표현에서의 엔드 투 엔드 학습을 단순화한다.
• 실제 벤치마크와 합성된 장거리 추론 작업 모두에서 확장성과 성능을 입증한다.

제안 방법

• 각 삼중항을 구성 요소 ID로 매핑하기 위해, 주어진, 목적어, 관계 인덱스를 위한 세 개의 스퍼스 행렬을 사용해 상징적 KB를 재현 KB로 표현한다.
• 지표 벡터를 사용해 실체 및 관계 집합을 조밀 벡터로 인코딩함으로써, 벡터 산술(합, 하다르드 곱, 1 - x)을 통한 집합 연산(합집합, 교집합, 여집합)을 가능하게 한다.
• ‘따르기’ 연산을 이중선형 변환으로 정의한다: follow(x, r) = M_r x, 여기서 M_r는 관계 r에 대한 스퍼스 행렬이며, 이는 관계를 따라가는 추론을 미분 가능하게 한다.
• 학습된 가중치를 가진 관계 행렬의 가중합(M_R = Σ w_r M_r)을 사용해 다중 관계를 포함하는 복잡한 질의를 모델링한다.
• 스퍼스 행렬을 분할하여 재현 KB를 다수의 GPU에 분산 배포함으로써, 1,300만 개 이상의 실체와 4,400만 개 이상의 사실을 포함한 KB에서의 학습을 가능하게 한다.
• 신경망 내부의 미분 가능한 모듈로 재현 KB를 통합함으로써, 표현에서의 추론 단계를 통해 역전파가 가능하게 하여, 표현에서의 엔드 투 엔드 학습 또는 KB 보완 목표에 대한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 대규모 KB에서 완전히 미분 가능하고 확장 가능하며 원본 KB 의미에 충실한 신경망 추론을 가능하게 하는 방식으로 상징적 KB를 표현할 수 있는가?
• RQ2 대규모 KB에서 다단계 추론을 효율적이고 정확하게 미분 가능한 신경망 프레임워크 내에서 모델링할 수 있는가?
• RQ3 제안된 방법이 단순한 스퍼스 행렬 구현 대비 상당한 속도 향상을 달성하면서도 의미적 충실도를 유지할 수 있는가?
• RQ4 히우리스틱 검색이나 강화 학습 없이도, 오직 미분 가능한 추론만을 사용해 표현에서의 엔드 투 엔드 신경망 의미 분석을 달성할 수 있는가?
• RQ5 합성 및 실세계 벤치마크 모두에서 이 방법이 장거리 추론 체인과 대규모 KB에 대해 얼마나 잘 확장되는가?

주요 결과

• 스퍼스 행렬 재현 KB 표현 방식은 원본 KB 의미에 충실하고, 다단계 추론에 충분히 표현력 있는 완전히 미분 가능한 신경망 추론을 가능하게 한다.
• 합성 데이터에서 단순한 스퍼스 행렬 구현 대비 10,000배 이상의 속도 향상을 달성했으며, 많은 관계가 존재하는 경우에도 성능 향상이 유지된다.
• 1,300만 개 이상의 실체와 거의 4,400만 개의 사실을 포함한 KB에 대해 확장 가능함을 입증했으며, 실세계 대규모 KB에 대한 실현 가능성을 보여준다.
• 재현 KB 모듈을 사용하는 단순한 엔드 투 엔드 신경망 아키텍처가 KB 보완 및 표현에서의 의미 분석 벤치마크에서 경쟁력 있는 성능을 달성한다.
• 이전에는 비가역적인 KB 추론로 인해 어려웠던 표현에서의 엔드 투 엔드 신경망 의미 분석을, 연속된 검색이나 강화 학습 없이도 완전히 엔드 투 엔드 학습이 가능하게 한다.
• 합성 작업에서 장거리 추론 체인을 지원하며, 복잡한 추론 시나리오에서의 강건성과 확장성을 입증한다.