[論文レビュー] Learning Universally Quantified Invariants of Linear Data Structures

Pranav Garg, Christof Löding+2 more|arXiv (Cornell University)|Feb 9, 2013

Machine Learning and Algorithms被引用数 12

ひとこと要約

この論文は、配列やリストなどの線形データ構造における普遍的量化された不変条件の学習を目的とした、新たな自動機モデルである数量化データオートマトン（QDA）を導入する。QDAの多項式時間のアクティブな学習アルゴリズムと、決定可能であるクラスであるエラスティックQDAを提示しており、一意の最小過剰近似を提供するため、SMTソルバーによる検証が可能になる。

ABSTRACT

We propose a new automaton model, called quantified data automata over words, that can model quantified invariants over linear data structures, and build poly-time active learning algorithms for them, where the learner is allowed to query the teacher with membership and equivalence queries. In order to express invariants in decidable logics, we invent a decidable subclass of QDAs, called elastic QDAs, and prove that every QDA has a unique minimally-over-approximating elastic QDA. We then give an application of these theoretically sound and efficient active learning algorithms in a passive learning framework and show that we can efficiently learn quantified linear data structure invariants from samples obtained from dynamic runs for a large class of programs.

研究の動機と目的

• 配列やリストなどの線形データ構造を操作するプログラムに対して、複雑な普遍的量化された不変条件を自動で合成する課題に対処する。
• 一般の数量化論理的不変条件における受動的学習の限界と決定不能性を克服するため、決定可能で学習可能な形式的体系を導入する。
• アクティブな学習と、決定可能な論理断片への一意の最小過剰近似を組み合わせることで、効率的かつ健全な不変条件の学習を可能にする。
• 表現力のある不変条件表現と実用的な検証のギャップを埋めるために、学習されたQDAを、配列プロパティ断片やストランド論理などの既知の決定可能な論理にマッピングする。

提案手法

• データワード（普遍的量化変数の値の割り当て付き）上の普遍的量化不変条件を表す正規形として、数量化データオートマトン（QDA）を提案する。
• アングルンのL*アルゴリズムを用いた決定的有限オートマトンの学習に類似する抽象化を介して、QDAのアクティブな学習を、データフォーミュラを付加したデータワード（フォーミュラワード）の学習に還元する。
• SMTソルバーによる検証が可能な既知の決定可能な論理（例：配列プロパティ断片、ストランド論理）に翻訳可能な、QDAの決定可能クラスであるエラスティックQDAを導入する。
• 一意の最小過剰近似定理を証明する：任意のQDAに対して、それを過剰近似する一意の最小のエラスティックQDAが存在し、健全かつ精密な過剰近似が可能になる。
• 動的プログラム実行から不正確な教師を構築することで、完全なプログラム解析を必要とせず、受動的学習設定にアクティブな学習フレームワークを効果的に適応させる。
• SMTベースの検証を用いて、ヒープソートやカーネルレベルのデータ構造操作など、複雑なプログラムのサブセットに対して、手法を実装・評価する。

実験結果

リサーチクエスチョン

• RQ1 線形データ構造上の普遍的量化不変条件に対して、多項式時間のアクティブな学習アルゴリズムを設計できるか？
• RQ2 SMTソルバーによる検証が可能であり、かつ効率的な学習が可能なQDAの決定的クラスは存在するか？
• RQ3 任意のQDAは、一意の最小エラスティックQDAによって過剰近似可能であり、健全かつ最適な過剰近似が保証されるか？
• RQ4 アクティブな学習フレームワークは、完全なプログラム解析を必要とせず、動的プログラム実行からの受動的学習に効果的に適応可能か？
• RQ5 本手法は、従来のホワイトボックス不変条件合成技術では到達できない、ヒープソートやカーネルデータ構造における複雑な不変条件を学習可能か？

主な発見

• 提案されたQDAのアクティブな学習アルゴリズムは、正規QDAのサイズに多項式時間で実行され、複雑な数量化不変条件の効率的学習を可能にする。
• 一意の最小過剰近似定理により、任意のQDAに対して、それを過剰近似する一意の最小エラスティックQDAが存在することが保証され、正確かつ健全な検証が可能になる。
• エラスティックQDAは、配列プロパティ断片やストランド論理などの決定可能な論理に効果的に翻訳可能であり、SMTソルバーによる自動検証が可能になる。
• プロトタイプ実装は、ヒープソートやカーネルレベルのリスト操作を含む18の多様なプログラムに対して、1例あたり1秒未塔で不変条件を学習した。
• 学習されたすべての不変条件はSMTソルバーで正しく検証され、検証時間は常に1秒未塔であり、実用的応用性を示した。
• 学習された不変条件は複雑で表現力に富んでおり、例えばリスト検索の不変条件は、リストがソート済みであり、現在のポインタ以降のすべての要素より探索キーが小さいことを符号化しているが、効率的かつ正確に学習された。