[論文レビュー] Learning Linear Temporal Properties

Daniel Neider, Ivan Gavran|arXiv (Cornell University)|Jun 11, 2018

Formal Methods in Verification参考文献 16被引用数 5

ひとこと要約

本稿では、システム動作の肯定例および否定例から線形時相論理（LTL）論理式を学習するための2つの新規アルゴリズムを提示する。1つ目のアルゴリズムは、最小の整合性を持つLTL論理式を求めるためにSATソルバを用いる。2つ目のアルゴリズムは、SATベースの学習と意思決定木のインダクションを組み合わせ、最小論理式サイズのわずかな犠牲を払っても、数百件の例にスケーラブルに拡張可能である。主な貢献は、システム実行から人間が読みやすい一時的仕様を抽出する実用的でスケーラブルなアプローチである。

ABSTRACT

We present two novel algorithms for learning formulas in Linear Temporal Logic (LTL) from examples. The first learning algorithm reduces the learning task to a series of satisfiability problems in propositional Boolean logic and produces a smallest LTL formula (in terms of the number of subformulas) that is consistent with the given data. Our second learning algorithm, on the other hand, combines the SAT-based learning algorithm with classical algorithms for learning decision trees. The result is a learning algorithm that scales to real-world scenarios with hundreds of examples, but can no longer guarantee to produce minimal consistent LTL formulas. We compare both learning algorithms and demonstrate their performance on a wide range of synthetic benchmarks. Additionally, we illustrate their usefulness on the task of understanding executions of a leader election protocol.

研究の動機と目的

• 分散プロトコルのような複雑なシステムにおける、システム実行から一時的性質を逆引きして得る課題に対処すること。
• 肯定例および否定例のシステム動作から、簡潔で人間が理解可能なLTL論理式を生成する学習フレームワークを開発すること。
• 論理式の最小化とスケーラビリティのバランスを図り、数百件の例を含む実世界のシナリオへの適用を可能にすること。
• リーダー選出プロトコルのようなシステムにおける、デバッグ、仕様マイニング、一時的動作の逆引きのための実用的ツールを提供すること。

提案手法

• SATベースのアルゴリズムは、論理式サイズnを順次増加させながら、ΦS_nという論理式を構築することで、LTL論理式学習問題を命題充足可能性問題に還元する。充足可能性のチェックにより、最小の整合性を持つLTL論理式が得られる。
• 充足可能な各ΦS_nは、部分論理式の構造と例の分類に関する制約を符号化しており、モデル抽出により最小のLTL論理式を抽出可能である。
• 意思決定木ベースのアルゴリズムは、まず、例のサブセットに対してSATベースの方法を用いてLTLプリミティブ（小さな整合性を持つ論理式）の集合を学習する。
• その後、これらのプリミティブを意思決定木学習器を用いて組み合わせ、全データセットを分類するブール結合を構成する。これにより、最小サイズの犠牲を払ってスケーラビリティが向上する。
• サブセット選択戦略（例：k=3の戦略α）を用いることで、プリミティブが肯定例と否定例を分離しつつ、コンパクトな意思決定木が得られるようにする。
• 両アルゴリズムは、合成ベンチマークおよび実世界の事例研究（リーダー選出プロトコル含む）で評価され、訓練データとして手動でトレースを構築した。

実験結果

リサーチクエスチョン

• RQ1 有限のトレースから、正しく動作する実行とバグのある実行を区別する最小のLTL論理式を自動で学習できるか？
• RQ2 数百件の例を含む実世界のシナリオにスケーラブルに拡張しつつ、読みやすさを維持できるLTL論理式学習は可能か？
• RQ3 SATベースの学習と意思決定木インダクションを組み合わせることで、実用的でスケーラブルかつ理解可能な一時的仕様が得られるか？
• RQ4 サブセット選択戦略の選択が、学習された意思決定木モデルの性能およびコンパクトさに与える影響は何か？

主な発見

• SATベースのアルゴリズムは、命題充足可能性クエリの系列に還元することで、部分論理式数の観点から最小サイズを保証する最小LTL論理式を効果的に学習できた。
• 意思決定木ベースのアルゴリズムは、スケーラビリティが著しく向上し、数百件の例を処理可能となったが、論理式サイズの最小化は保証されなくなった。
• リーダー選出プロトコルの事例研究において、アルゴリズムは¬recv(2,1) U comm(1)という論理式を発見し、整合的と非整合的な実行の根本的差を捉えた。
• 戦略αとサブセットサイズk=3を用いた意思決定木ベースのアプローチが、論理式サイズとスケーラビリティの両面で最良のパフォーマンスを示した。
• 学習された論理式は、非同期プロトコルにおける不整合の根本原因としてメッセージのタイミングを特定するなど、システム動作に関する実用的なインサイトを提供した。