[論文レビュー] Towards Neural-Guided Program Synthesis for Linear Temporal Logic Specifications

Alberto Rivas, Sheila A. McIlraith|arXiv (Cornell University)|Dec 31, 2019

Formal Methods in Verification参考文献 24被引用数 4

ひとこと要約

本論文は、深層Qラーニングを用いて探索をガイドするニューラルガイドドサーチ手法を提案し、線形時相論理（LTL）合成問題を最適化タスクに再定式化する。この手法は、探索の効率を向上させるためにQ関数を学習し、小規模なLTL仕様に対して正しく構築されたプログラムを効果的に合成する。問題の2EXP完全性にもかかわらず、最小限の学習エピソードで効果的なガイドランスを示した。

ABSTRACT

Synthesizing a program that realizes a logical specification is a classical problem in computer science. We examine a particular type of program synthesis, where the objective is to synthesize a strategy that reacts to a potentially adversarial environment while ensuring that all executions satisfy a Linear Temporal Logic (LTL) specification. Unfortunately, exact methods to solve so-called LTL synthesis via logical inference do not scale. In this work, we cast LTL synthesis as an optimization problem. We employ a neural network to learn a Q-function that is then used to guide search, and to construct programs that are subsequently verified for correctness. Our method is unique in combining search with deep learning to realize LTL synthesis. In our experiments the learned Q-function provides effective guidance for synthesis problems with relatively small specifications.

研究の動機と目的

• 正確なLTL合成手法のスケーラビリティ制限に対処すること。これらの手法は2EXP完全であり、大規模な問題に対しては非現実的である。
• 経験からQ関数を学習することで、深層強化学習がLTL合成における探索に有効なガイドランスを提供できるかを検討すること。
• 探索と深層学習を組み合わせることで、従来の論理的推論技術を超えたスケーリングを実現すること。
• 神経的ガイドランスが探索空間の探索を効率化しつつも、正しさの保証を維持する有効性を評価すること。
• ポテンシャルの使用、敗北プレイの再利用、オートマトン分解といったアーキテクチャ的選択が、学習効率と解の品質に与える影響を調査すること。

提案手法

• 動的計画法としてのLTL合成問題の再定式化により、最適化ベースの学習を可能にする。
• 合成プロセス中、状態-行動ペアにおける行動の期待リターンを推定するQ関数を、深層ニューラルネットワークで学習する。
• 学習の安定化とポリシー学習の向上のため、経験リプレイとターゲットネットワークを用いた深層Qラーニングを適用する。
• Q関数を用いて探索空間内の有望なパスを優先順位付けすることで、ヒューリスティック探索フレームワークに神経的ガイドランスを統合する。
• ポテンシャル（すなわち、ヒューリスティックな状態価値）を追加の報酬信号として組み込むことで、より強い監視による学習を強化する。
• 計算制約により単一オートマトンに変換できない大規模なLTL式を処理するため、オートマトン分解を用いる。

実験結果

リサーチクエスチョン

• RQ1 学習されたQ関数は、指数的増加する巨大な状態空間の全探索を避けられるほど、LTL合成における探索を効果的にガイドできるか？
• RQ2 ポテンシャルの使用、敗北プレイの再利用、オートマトン分解といったアーキテクチャ的強化が、学習ベースの合成手法の性能と収束に与える影響はいかほどか？
• RQ3 伝統的な論理的推論手法と比較して、神経的ガイドドサーチはLTL合成問題にどの程度スケーリング可能か？
• RQ4 神経的ガイドランスの使用が、最小限の学習で複雑なLTL仕様を満たす正しく構築されたプログラムを生成するか？
• RQ5 この手法はコンactなコントローラを生成するのか、それとも常に最小解よりも大きな解を生成するのか？

主な発見

• 学習されたQ関数は合成における有効なガイドランスを提供し、SYNTCOMP 2019のベンチマークの複数を、比較的小さな仕様で効果的に解けるようにした。
• ポテンシャルを監視信号として使用することで学習性能が著しく向上し、DDQS[−, φ]およびdec-DDQS[−, φ]の設定が他よりも優れた性能を示した。
• 敗北プレイの再利用により、必要な学習エピソード数とバッチ学習ステップ数が減少し、収束が加速した。
• オートマトン分解の使用により入力サイズが増加したが、単一オートマトンへの変換と比較して計算的に実行可能であった。
• 本手法で生成されたコントローラは、SYNTCOMP 2019で報告された最小コントローラーよりも著しく大きかったため、ポリシー最適化の改善の余地があることが示された。
• 最先端の性能に到達してはいないが、深層学習と探索を組み合わせるアプローチが、スケーラブルなLTL合成のための実用的で基盤的な道筋であることを示した。