[논문 리뷰] Transformers Generalize to the Semantics of Logics

Christopher Hahn, Frederik Schmitt외 3명|arXiv (Cornell University)|2020. 03. 06.

Bayesian Modeling and Causal Inference참고 문헌 3인용 수 4

한 줄 요약

이 논문은 투스트럼이 불완전한 훈련 데이터로부터 명제 논리와 선형 시간 시간 논리(LTL)의 의미를 학습할 수 있음을 보여주며, 훈련 중에 볼 수 없었던 공식으로 일반화하고, 훈련 생성기에서 처리하지 못한 LTL 공식까지도 해결할 수 있다. 생성기의 특정 출력에서 벗어나더라도 모델은 훈련 데이터의 특징보다는 기저의 논리 의미를 학습함으로써 정확한 해답을 도출한다.

ABSTRACT

We show that neural networks can learn the semantics of propositional and linear-time temporal logic (LTL) from imperfect training data. Instead of only predicting the truth value of a formula, we use a Transformer architecture to predict the solution for a given formula, e.g., a variable assignment for a formula in propositional logic. Most formulas have many solutions and the training data thus depends on the particularities of the generator. We make the surprising observation that while the Transformer does not perfectly predict the generator's output, it still produces correct solutions to almost all formulas, even when its prediction deviates from the generator. It appears that it is easier to learn the semantics of the logics than the particularities of the generator. We observe that the Transformer preserves this semantic generalization even when challenged with formulas of a size it has never encountered before. Surprisingly, the Transformer solves almost all LTL formulas in our test set including those for which our generator timed out.

연구 동기 및 목표

• 신경망이 불완전한 훈련 데이터로부터 명제 논리와 선형 시간 시간 논리(LTL)의 의미를 학습할 수 있는지 조사하는 것.
• Transformer 모델이 훈련 중에 본 바보다 더 큰 공식으로 일반화할 수 있는지 확인하는 것.
• 생성기의 특정 출력에 기반해 훈련된 모델이 여전히 기저의 논리 의미를 학습함으로써 정확한 해답을 도출할 수 있는지 평가하는 것.
• 분포 외 공식에 직면했을 때 신경망 모델의 의미 일반화 능력의 견고성 평가

제안 방법

• 논리 공식의 해답(예: 변수 할당)을 예측하는 Transformer를 훈련시키는 것, 진리값 예측이 아닌.
• 불완전하거나 비결정성 있는 생성기가 생성한 공식과 그 해답의 데이터셋을 사용하는 것.
• 훈련 중에 볼 수 없었던 공식, 특히 훈련 세트의 어떤 공식보다도 큰 공식에 대해 모델을 평가하는 것.
• 생성기가 시간 초과한 LTL 공식에 대해 일반화 능력을 테스트하여, 모델이 여전히 타당한 해답을 찾을 수 있는지 평가하는 것.
• 예측의 정확성을 생성기 출력과 정확히 일치시키는 것으로 측정하지 않고, 해답의 의미적 타당성으로 측정하는 것.
• 생성기의 특정 출력에서 벗어나더라도 해답의 정확성을 유지할 수 있는 모델의 능력 분석

실험 결과

연구 질문

• RQ1 Transformer는 불완전한 훈련 데이터로부터 명제 논리와 LTL 공식의 의미를 학습할 수 있는가?
• RQ2 생성기가 해답을 생성하지 못하는 상황에서도 모델은 본 바 없던 크기의 공식으로 일반화할 수 있는가?
• RQ3 모델의 출력이 생성기의 특정 출력과 다를 경우에도 정확한 해답을 도출할 수 있는가?
• RQ4 의미 일반화가 생성기의 특정 패턴 암기보다 어느 정도 뛰어나게 작용하는가?

주요 결과

• 모델은 생성기의 출력과 다를지라도 거의 모든 공식에 대해 정확한 해답을 도출한다.
• 모델은 훈련 중에 본 바보다 더 큰 공식으로 일반화하여, 분포 외 일반화 능력이 뛰어나다는 것을 보여준다.
• 생성기가 시간 초과한 LTL 공식을 성공적으로 해결하여, 더 뛰어난 추론 능력을 지닌다는 것을 시사한다.
• 모델은 생성기의 특정 패턴을 암기하는 것이 아니라 논리의 기저 의미를 학습한다.