[논문 리뷰] Teaching Temporal Logics to Neural Networks

Christopher Hahn, Frederik Schmitt외 3명|arXiv (Cornell University)|2020. 03. 06.

Natural Language Processing Techniques참고 문헌 68인용 수 4

한 줄 요약

이 논문은 고전적 솔버의 해답을 감독으로 사용하여, 선형 시간 동적 논리(LTL) 공식에 대해 추적을 엔드 투 엔드로 생성하는 트랜스포머 모델을 훈련시킨다. 단지 일부 해답만으로 훈련되었음에도 불구하고, 모델은 LTL의 의미론과 더 큰, 볼 수 없는 공식으로 일반화되며, 타임아웃 공식 벤치마크에서 83%의 정확도를 달성하여 강력한 신경 기반 기호 추론 능력을 보여준다.

ABSTRACT

We study two fundamental questions in neuro-symbolic computing: can deep learning tackle challenging problems in logics end-to-end, and can neural networks learn the semantics of logics. In this work we focus on linear-time temporal logic (LTL), as it is widely used in verification. We train a Transformer on the problem to directly predict a solution, i.e. a trace, to a given LTL formula. The training data is generated with classical solvers, which, however, only provide one of many possible solutions to each formula. We demonstrate that it is sufficient to train on those particular solutions to formulas, and that Transformers can predict solutions even to formulas from benchmarks from the literature on which the classical solver timed out. Transformers also generalize to the semantics of the logics: while they often deviate from the solutions found by the classical solvers, they still predict correct solutions to most formulas.

연구 동기 및 목표

• 딥 러닝이 형식 검증 분야에서 복잡한 논리 문제를 직접 해결할 수 있는지 조사하기 위해, 특히 LTL 추적 생성을 대상으로 한다.
• 신경망이 명시적인 기호적 감독 없이도 시간 논리의 의미론을 학습할 수 있는지 확인하기 위해.
• 훈련 데이터 외부의 더 큰 공식과 볼 수 없는 논리 패턴으로의 일반화 능력을 평가하기 위해.
• 트랜스포머가 만족 가능성 및 추적 생성 작업에서 고전적 솔버를 능가하거나 보완할 수 있는지 평가하기 위해.

제안 방법

• 주어진 LTL 공식에 대해 추적(시간에 따른 명제의 할당)을 예측하도록 트랜스포머 아키텍처를 훈련시킨다.
• 훈련 데이터는 DPLL 기반 솔버를 사용하여 생성되며, 각 공식마다 하나의 유효한 해답만 제공되며, 모든 가능한 해답은 포함되지 않는다.
• 트리 기반의 위치 인코딩을 사용하여 시퀀스 모델링 중 논리적 구조를 유지함으로써 일반화 능력을 향상시킨다.
• 모델은 더 큰 공식과 다양한 공식 유형(예: CNF)으로의 일반화를 테스트하기 위해 훈련 후 미세조정된다.
• 구문적 정확도와 의미론적 정확도를 측정한다: 솔버 출력과의 일치 여부와 LTL 의미론 하에서 추적의 정확도.
• 고전적 솔버가 타임아웃이 발생한 공식 세트로 구성된 테스트 세트에서 모델을 평가하여 실용적 적용 가능성 여부를 점검한다.

실험 결과

연구 질문

• RQ1 신경망이 명시적인 기호 논리 규칙 없이, 고전적 솔버의 예측 예시만으로 정확한 LTL 추적을 생성할 수 있는가?
• RQ2 솔버의 특정 해답과 다를 수는 있지만, 모델의 출력이 LTL 의미론을 잘 일반화하는가?
• RQ3 훈련 중에 볼 수 없었던 더 크거나 더 복잡한 LTL 공식으로 일반화할 수 있는가? 특히 고전적 솔버에서 타임아웃이 발생한 공식들에 대해서도 마찬가지인가?
• RQ4 위치 인코딩의 선택이 볼 수 없는 공식에 대한 일반화 능력과 성능에 어떤 영향을 미치는가?
• RQ5 실제 검증 워크로드에서 모델이 고전적 솔버를 능가하거나 보완할 수 있는가?

주요 결과

• 훈련 중에 크기가 35인 공식에서 의미론적 정확도가 96.5%를 기록하여 LTL 의미론을 강력하게 학습한 것으로 나타났다.
• 고전적 솔버가 타임아웃이 발생한 테스트 세트에서 모델은 83%의 확률로 정확한 추적을 생성하여 실용적 유용성을 입증했다.
• 솔버의 특정 해답과 다를 수는 있지만, 모델의 출력이 정확한 경우가 96.5%의 비율로 발생하여 의미론적 일반화 능력이 뛰어나다는 것을 보여주었다.
• 크기가 50인 공식으로도 일반화되었으며, 훈련 시 크기가 35인 공식만을 사용했음에도 불구하고 의미론적 정확도가 86.1%에 이르렀다.
• 트리 기반 위치 인코딩은 일반화 능력을 크게 향상시켰으며, 더 큰 공식에서 구문적 정확도를 29.0%에서 35.8%로 높였다.
• 모델은 CNF 공식으로도 일반화되었으며, 250개 변수를 가진 CNF 벤치마크에서 의미론적 정확도가 65.1%를 기록하여 LTL 외부로의 전이 가능성도 입증했다.