[논문 리뷰] Towards Neural Theorem Proving at Scale

Pasquale Minervini, Matko Bošnjak외 2명|arXiv (Cornell University)|2018. 07. 21.

Topic Modeling참고 문헌 19인용 수 16

한 줄 요약

이 논문은 추론을 가속화하기 위해 전수 증명 경로 탐색 대신 근사 최근접 이웃(ANNS)을 사용하여 최고 점수를 받는 후보 사실만 검색하는 확장 가능한 신경 증명 증명기인 NTP 2.0을 제안한다. 이 방법은 WordNet과 같은 대규모 지식 기반에서 학습 및 추론을 가능하게 하여 여러 벤치마크에서 최신 기술 수준의 성능을 달성하면서도 계산 비용을 크게 감소시킨다.

ABSTRACT

Neural models combining representation learning and reasoning in an end-to-end trainable manner are receiving increasing interest. However, their use is severely limited by their computational complexity, which renders them unusable on real world datasets. We focus on the Neural Theorem Prover (NTP) model proposed by Rockt{ä}schel and Riedel (2017), a continuous relaxation of the Prolog backward chaining algorithm where unification between terms is replaced by the similarity between their embedding representations. For answering a given query, this model needs to consider all possible proof paths, and then aggregate results - this quickly becomes infeasible even for small Knowledge Bases (KBs). We observe that we can accurately approximate the inference process in this model by considering only proof paths associated with the highest proof scores. This enables inference and learning on previously impracticable KBs.

연구 동기 및 목표

• 대규모 지식 기반에서 전수 증명 경로 탐색으로 인해 계산적으로 비현실적인 신경 증명 증명기(NTP)의 문제를 해결하기 위해.
• 이전에는 NTP에 비현실적으로 여겨졌던 실제 세계의 대규모 지식 기반에서 종단 간 학습 및 추론을 가능하게 하기 위해.
• 정확한 유사도 검색 대신 효율적인 근사 최근접 이웃(ANNS) 방법을 사용하여 신경 기반 추론의 확장성을 향상시키기 위해.
• 표준 벤치마크와 대규모 WordNet 지식 기반에서 제안된 방법의 성능을 평가하기 위해.
• ANNS 기반 근사화가 예측 정확도를 유지하면서 이전에는 해결 불가능했던 데이터셋에 대한 학습을 가능하게 함을 보여주기 위해.

제안 방법

• NTP의 모든 가능한 증명 경로에 대한 전수 검색을 근사 최근접 이웃(ANNS) 검색으로 대체하여 각 쿼리에 대해 가장 관련성이 높은 상위-k개의 사실만 검색한다.
• ANNS를 사용해 임bedding 공간에서 쿼리 텀과 가장 유사도 점수가 높은 후보 사실을 효율적으로 식별함으로써 계산 비용을 크게 감소시킨다.
• 유니피케이션을 임베딩 유사도 계산으로 대체한 Prolog 스타일의 후행 추론의 연속적 완화를 유지한다.
• 진짜 사실의 점수를 최대화하고 부정적 사실의 점수를 최소화하는 링크 예측 목표를 사용해 모델을 종단 간으로 학습시킨다.
• WordNet과 같이 112,581개의 사실을 포함한 대규모 지식 기반에 대해 확장 가능하게 하기 위해 학습 및 추론 모두에서 ANNS를 적용한다.
• 실험에서 k=1을 사용하였으며, 더 높은 k 값은 유의미한 향상 없이도 성능 향상을 이끌지 못했지만, 근사화로 인해 정확한 최근접 이웃를 놓칠 수 있음을 고려한다.

실험 결과

연구 질문

• RQ1 근사 최근접 이웃 검색을 사용하여 예측 성능을 손상시키지 않고도 대규모 지식 기반에 대해 신경 증명 증명을 확장시킬 수 있는가?
• RQ2 ANNS 기반 NTP 2.0은 Kinship, Nations, UMLS와 같은 표준 벤치마크에서 원본 NTP와 비교해 어떻게 성능을 내는가?
• RQ3 NTP 2.0은 WordNet과 같은 대규모 실세계 지식 기반에서 성공적으로 학습 및 평가될 수 있는가?
• RQ4 ANNS에서 k=1을 사용할 경우, 정확한 최근접 이웃 검색이 필요한 데이터셋에서 모델 정확도에 어떤 영향을 미치는가?
• RQ5 WordNet과 같은 대규모 지식 기반에서 NTP 2.0이 유도할 수 있는 논리 규칙의 유형은 무엇인가?

주요 결과

• NTP 2.0은 WordNet에서 테스트 정확도 65.72%를 달성하였으며, 하이퍼파라미터 최적화나 정규화를 사용하지 않았음에도 불구하고 Distance Model(68.3%)과 유사한 성능을 보였다.
• Countries 데이터셋에서 k=1일 때 AUC-PR이 56.68%에서 85.55%로 향상되어 효율적 근사화를 통한 성능 향상이 뚜렷하게 드러났다.
• Kinship에서 NTP 2.0은 MRR를 0.60에서 0.65로, HITS@1을 0.48에서 0.57로 향상시켜 다양한 지표에서 일관된 성능 향상을 보였다.
• UMLS에서 NTP 2.0은 원본 NTP보다 성능이 저하되었으며, 이는 ANNS가 정확한 최근접 이웃 검색이 필수적인 데이터셋에서는 덜 적합할 수 있음을 시사한다.
• 모델은 WordNet에서 해석 가능한 논리 규칙을 성공적으로 유도하였으며, 예를 들어 '_has_part(X,Y) :- _similar_to(Y,X)'와 같은 규칙을 0.998의 신뢰도로 유도하여 효과적인 기호 규칙 추출을 입증하였다.
• ANNS의 사용은 이전에는 NTP에 비현실적으로 여겨졌던 WordNet에서의 학습을 가능하게 하여 주요한 확장성 혁신을 보여주었다.