[논문 리뷰] Neural Theorem Provers Do Not Learn Rules Without Exploration

Michiel de Jong, Fei Sha|arXiv (Cornell University)|2019. 06. 17.

Topic Modeling참고 문헌 21인용 수 5

한 줄 요약

이 논문은 신경 추론 증명자(Neural Theorem Provers, NTP)가 이성적 규칙을 효과적으로 학습하지 못하는 이유가 이성적 규칙 학습에 최적화되지 않은 '탐색 부족'에 기인해 발생함을 보여준다. 이는 빠르게 최고의 경로를 선택하는 전략이 최적화 과정에서 낮은 국소 최적점에 갇히게 하기 때문이다. 저자들은 단순한 탐색 히어리스틱 기법을 도입함으로써 성능을 크게 향상시켰다. 즉, 가장 높은 점수를 받은 경로만 유지하는 것이 아니라 상위-k개의 증명 경로를 유지함으로써 탐색을 가능하게 한 것이다. 이는 신경-기반 모델에서 효과적인 논리적 유도를 위해 탐색이 필수적임을 시사한다.

ABSTRACT

Neural symbolic processing aims to combine the generalization of logical learning approaches and the performance of neural networks. The Neural Theorem Proving (NTP) model by Rocktaschel et al (2017) learns embeddings for concepts and performs logical unification. While NTP is promising and effective in predicting facts accurately, we have little knowledge how well it can extract true relationship among data. To this end, we create synthetic logical datasets with injected relationships, which can be generated on-the-fly, to test neural-based relation learning algorithms including NTP. We show that it has difficulty recovering relationships in all but the simplest settings. Critical analysis and diagnostic experiments suggest that the optimization algorithm suffers from poor local minima due to its greedy winner-takes-all strategy in identifying the most informative structure (proof path) to pursue. We alter the NTP algorithm to increase exploration, which sharply improves performance. We argue and demonstate that it is insightful to benchmark with synthetic data with ground-truth relationships, for both evaluating models and revealing algorithmic issues.

연구 동기 및 목표

• 신경 추론 증명자(NTP)가 사실 예측 정확도 외에도 진정한 논리적 관계를 데이터로부터 효과적으로 학습할 수 있는지 평가하기.
• 합성 데이터셋에서 기저 사실 관계가 존재함에도 불구하고 NTP가 규칙 학습에 어려움을 겪는 이유를 진단하기.
• 최적화 과정에서 탐색을 향상시켜 낮은 국소 최적점 문제를 해결하는 단순한 최적화 수정 방법을 개발하고 검증하기.
• 신경-기반 모델에서 규칙 학습 성능 평가를 위한 기준으로 사용 가능한, 인젝터블 기반 사실 규칙을 내장한 합성 데이터셋 구축하기.

제안 방법

• 복잡도를 다양하게 조절한 합성 논리 데이터셋을 제작함(예: 규칙 수, 관계 강도, 순서, 크기 등).
• 다양이 가능하게 설계된 논리 학습 기법을 사용해 NTP를 학습시키며 사실 예측 정확도와 규칙 학습 성능를 측정함.
• 증명 경로 선택 전략을 수정하여 상위-k개의 증명 경로(예: 상위-2 모든 경로)를 유지하도록 구현함으로써 탐색을 가능하게 함.
• 빔 서치 유사한 히어리스틱 기법을 적용해 최적화 과정 중에 여러 후보 증명 경로를 유지함으로써 조기 수렴을 방지함.
• 규칙 학습 및 사실 예측 작업에 대해 재현율, PR-AUC, MRR, ROC-AUC 등의 지표를 사용해 성능 평가함.
• 규칙 수, 관계 강도, 관계 수, K_max(상위-k 정제) 등의 파라미터를 변화시켜 탈락 분석을 수행함으로써 성능의 강건성과 민감도 평가함.

실험 결과

연구 질문

• RQ1 기본 사실 관계가 알려진 합성 데이터셋에서 NTP는 높은 사실 예측 정확도를 달성하고도 기반 규칙을 효과적으로 복원할 수 있는가?
• RQ2 NTP가 규칙 학습에 실패하는 원인은 무엇이며, 이는 모델 아키텍처의 문제인지 최적화 동역학의 문제인가?
• RQ3 NTP의 증명 경로 선택 전략에서 '승자 한 명이 모든 것을 차지'하는 전략이 학습 과정에서 낮은 국소 최적점에 갇히게 하는가?
• RQ4 여러 낮은 점수의 증명 경로를 유지함으로써 탐색을 도입하면 NTP의 규칙 학습 성능이 크게 향상되는가?
• RQ5 규칙 복잡도, 관계 강도, 관계 수 등의 요소가 표준 NTP와 탐색을 포함한 NTP 변형의 성능에 미치는 영향은 어떠한가?

주요 결과

• NTP는 높은 사실 예측 정확도를 달성함(예: ROC-AUC > 0.92)하지만, 비트리비얼 설정에서는 규칙 학습에 실패하며, 크기-2, 일항 관계에서는 재현율이 0.02로 급격히 떨어짐.
• 기본 NTP 모델은 이성적 규칙 학습에 최적화되지 않은 '탐색 부족'으로 인해 최적화가 어려움. 잘못된 증명 경로가 높은 초기 지지 점수로 인해 강화됨.
• 상위-2 모든 경로 히어리스틱 기법을 도입함으로써 크기-2, 일항 관계에서 재현율이 0.02에서 0.92로 상승하고, PR-AUC는 0.39에서 0.95로 상승함.
• 낮은 관계 강도(예: p_r = 0.7) 조건에서도 탐색 히어리스틱 기법이 유지되며, 재현율이 0.44로 기록됨(기본 모델은 0.04).
• 동일한 유형의 두 번째 관계를 추가하면 기본 모델의 성능이 급격히 떨어짐(재현율 0.62에서 0.38로 감소), 하지만 탐색을 포함한 모델은 높은 재현율 유지(두 관계일 때 0.63).
• K_max 하이퍼파라미터(상위-k 정제)는 성능에 거의 영향을 주지 않아, 핵심 문제의 원인이 탐색 전략에 있음을 시사함.