[論文レビュー] Teaching Temporal Logics to Neural Networks

Christopher Hahn, Frederik Schmitt+3 more|arXiv (Cornell University)|Mar 6, 2020

Natural Language Processing Techniques参考文献 68被引用数 4

ひとこと要約

本論文では、古典的ソルバーの解を教師として用い、線形時間時相論理（LTL）論理式に対してエンドツーエンドでトレースを生成するためのTransformerモデルの学習を提案する。訓練データは解のサブセットに限定されているが、LTLの意味論および未学習の大きな論理式へ一般化できており、タイムアウトの公式を含むベンチマークで83%の正答率を達成し、強力なニューラル記号的推論能力を示している。

ABSTRACT

We study two fundamental questions in neuro-symbolic computing: can deep learning tackle challenging problems in logics end-to-end, and can neural networks learn the semantics of logics. In this work we focus on linear-time temporal logic (LTL), as it is widely used in verification. We train a Transformer on the problem to directly predict a solution, i.e. a trace, to a given LTL formula. The training data is generated with classical solvers, which, however, only provide one of many possible solutions to each formula. We demonstrate that it is sufficient to train on those particular solutions to formulas, and that Transformers can predict solutions even to formulas from benchmarks from the literature on which the classical solver timed out. Transformers also generalize to the semantics of the logics: while they often deviate from the solutions found by the classical solvers, they still predict correct solutions to most formulas.

研究の動機と目的

• 深層学習が形式検証分野における複雑な論理的問題、特にLTLトレース生成を直接解くことができるかを調査すること。
• ニューラルネットワークが明示的な記号的教師なしで、時相論理の意味論を学習できるかを検証すること。
• 訓練データにないより大きな論理式や未確認の論理的パターンへの一般化能力を評価すること。
• Transformerが充足可能性やトレース生成タスクにおいて、古典的ソルバーを上回るか補完する能力を有するかを評価すること。

提案手法

• 与えられたLTL論理式に対して、時間的割り当て（トレース）を予測するためのTransformerアーキテクチャを訓練する。
• 訓練データは、DPLLベースのソルバーを用いて生成され、各論理式に対して1つの有効な解が提供されるが、すべての可能な解ではない。
• 論理的構造を保存するため、木構造の位置エンコーディングが使用され、一般化性能が向上する。
• 一般化能力をテストするために、より大きな論理式や異なる論理式クラス（例：CNF）でファインチューニングを行う。
• 構文的および意味論的正確性を測定する：ソルバー出力との構文的一致度と、LTL意味論におけるトレースの正しさ。
• 古典的ソルバーがタイムアウトしたテストデータセットの論理式に対して評価を行い、実用的応用性を検証する。

実験結果

リサーチクエスチョン

• RQ1 明示的な記号的論理規則なしに、古典的ソルバーからの教師例のみに依存して、神経ネットワークが正しいLTLトレースを生成できるか？
• RQ2 ソルバーの特定の解とは異なるが、意味論的に正しい出力を生成できるか？
• RQ3 訓練時に見なかったより大きな、またはより複雑なLTL論理式に対しても一般化できるか？ また、古典的ソルバーがタイムアウトした論理式に対しても同様か？
• RQ4 位置エンコーディングの選択が、未学習の論理式に対する一般化および性能に与える影響は？
• RQ5 実用的な検証ワークロードにおいて、モデルが古典的ソルバーを上回るか、あるいは補完する能力を有するか？

主な発見

• 訓練用論理式サイズ35の際、意味論的正確性が96.5%に達しており、LTL意味論の強力な学習を示している。
• 古典的ソルバーがタイムアウトしたテストデータセットにおいて、モデルは83%の確率で正しいトレースを生成できており、実用的有用性を示している。
• ソルバーの特定の解とは異なるが、96.5%の確率で意味論的に正しい出力を生成しており、意味論的一般化の強さが裏付けられている。
• サイズ50の論理式に対しても一般化でき、訓練時とは異なりサイズ35の論理式でのみ学習したにもかかわらず、意味論的正確性86.1%を達成した。
• 木構造の位置エンコーディングは一般化性能を顕著に向上させ、より大きな論理式における構文的正確性を29.0%から35.8%に向上させた。
• CNF論理式に対しても一般化でき、250変数のCNFベンチマークで65.1%の意味論的正確性を達成し、LTLを超えた汎用性を示している。