[論文レビュー] Transformers Generalize to the Semantics of Logics

Christopher Hahn, Frederik Schmitt+3 more|arXiv (Cornell University)|Mar 6, 2020

Bayesian Modeling and Causal Inference参考文献 3被引用数 4

ひとこと要約

この論文は、不完全な訓練データからトランスフォーマーが命題論理および線形時間時系列論理（LTL）の意味的意味を学習できることを示しており、訓練中に見られなかった論理式や、訓練ジェネレータが処理できなかったLTL論理式に対しても一般化して正しく解けることを示している。ジェネレータの特定の出力とは異なる場合でも、モデルは訓練データのアーチファクトではなく、背後にある論理的意味を学習することで正解を導き出している。

ABSTRACT

We show that neural networks can learn the semantics of propositional and linear-time temporal logic (LTL) from imperfect training data. Instead of only predicting the truth value of a formula, we use a Transformer architecture to predict the solution for a given formula, e.g., a variable assignment for a formula in propositional logic. Most formulas have many solutions and the training data thus depends on the particularities of the generator. We make the surprising observation that while the Transformer does not perfectly predict the generator's output, it still produces correct solutions to almost all formulas, even when its prediction deviates from the generator. It appears that it is easier to learn the semantics of the logics than the particularities of the generator. We observe that the Transformer preserves this semantic generalization even when challenged with formulas of a size it has never encountered before. Surprisingly, the Transformer solves almost all LTL formulas in our test set including those for which our generator timed out.

研究の動機と目的

• ニューラルネットワークが不完全な訓練データから命題論理および線形時間時系列論理（LTL）の意味的意味を学習できるかどうかを調査すること。
• トランスフォーマーが訓練中に見たことのないサイズの論理式にも一般化できるかどうかを特定すること。
• ジェネレータの特定出力に基づいて訓練されたモデルが、背後にある論理的意味を学習することで、依然として正解を導き出せるかどうかを評価すること。
• 分布外の論理式に直面した際の、意味的一般化の頑健性を評価すること。

提案手法

• 論理的論理式の解（例：変数の代入）を予測するようにトランスフォーマーを訓練すること（真偽値の予測ではなく）。
• おそらく不完全または非決定的である可能性のあるジェネレータによって生成された論理式とその解のデータセットを使用すること。
• 訓練中に見られなかった論理式、特に訓練セットに含まれるすべての論理式よりも大きな論理式に対してモデルを評価すること。
• ジェネレータがタイムアウトしたLTL論理式に対しても一般化できることをテストし、モデルが依然として有効な解を見つけるかどうかを評価すること。
• 予測の正しさをジェネレータ出力との正確な一致ではなく、解の意味的妥当性によって測定すること。
• ジェネレータの特定出力とは異なる場合でも、解の正しさを保つモデルの能力を分析すること。

実験結果

リサーチクエスチョン

• RQ1 トランスフォーマーは、不完全な訓練データから命題論理およびLTL論理式の意味的意味を学習できるか？
• RQ2 ジェネレータが解を出力できない場合でも、モデルは訓練中に見なかったサイズの論理式に一般化できるか？
• RQ3 モデルの出力がジェネレータの特定出力と異なる場合でも、正解の解を導き出せるか？
• RQ4 意味的一般化は、ジェネレータ固有のパターンの記憶に比べて、どの程度優れているか？

主な発見

• モデルは、ジェネレータの出力とは異なる場合でも、ほぼすべての論理式に対して正しく解を導き出している。
• モデルは、訓練中に見たことのないサイズの論理式に対しても一般化しており、分布外一般化の頑健性を示している。
• ジェネレータがタイムアウトしたLTL論理式に対しても、モデルは正常に解を導き出しており、優れた推論能力を示している。
• モデルはジェネレータ固有の解法パターンを記憶するのではなく、論理の背後にある意味的意味を学習している。