[論文レビュー] Learning Invariants using Decision Trees

Siddharth Krishna, Christian Puhrsch+1 more|arXiv (Cornell University)|Jan 20, 2015

Adversarial Robustness in Machine Learning参考文献 33被引用数 23

ひとこと要約

本稿では、テストデータから数値不等式の論理結合として帰納的不変量を学習する意思決定木ベースのアルゴリズムを提案する。この手法により、Cプログラムにおける効率的かつスケーラブルな不変量推論が可能になる。本手法は高い正確性とスケーラビリティを達成し、手動でのテンプレートチューニングを必要とせず、大規模なサンプルセットから直接複雑な不変量を学習することで、既存の機械学習ベースの手法を上回る性能を発揮する。

ABSTRACT

The problem of inferring an inductive invariant for verifying program safety can be formulated in terms of binary classification. This is a standard problem in machine learning: given a sample of good and bad points, one is asked to find a classifier that generalizes from the sample and separates the two sets. Here, the good points are the reachable states of the program, and the bad points are those that reach a safety property violation. Thus, a learned classifier is a candidate invariant. In this paper, we propose a new algorithm that uses decision trees to learn candidate invariants in the form of arbitrary Boolean combinations of numerical inequalities. We have used our algorithm to verify C programs taken from the literature. The algorithm is able to infer safe invariants for a range of challenging benchmarks and compares favorably to other ML-based invariant inference techniques. In particular, it scales well to large sample sets.

研究の動機と目的

• 大規模または複雑なプログラムにおけるプログラムの安全検証のための帰納的不変量を自動的に推論する課題に対処すること。
• テスト生成データに基づく機械学習を活用することで、不変量推論のスケーラビリティと正確性を向上させること。
• 任意の論理構造（多面体の和集合を含む）を持つ複雑な不変量の自動発見を可能にすること。
• PACモデルにおける確率的完全性保証を提供すること。
• 不変量の構造としきい値をデータから直接学習することで、手動でのテンプレート設計に依存するのを減らすこと。

提案手法

• アルゴリズムは、整数変数のd次元空間におけるプログラム状態を点として表現する。
• オクタゴン抽象ドメインにインspiredされた形式 ±xi ± xj の超平面の傾きに基づく特徴量を用い、数値的不等式を定義する。
• テストサンプルから到達可能な（良い）状態と不安全な（悪い）状態を分類するために意思決定木ラーナーを適用し、候補となる不変量として不等式の論理結合を生成する。
• 意思決定木の構造が、特徴量のしきい値に基づく階層的スプリットを通じて、複雑な不変量を自然に捉える。
• PAC学習フレームワーク下で、確率的完全性のためのサンプルサイズの理論的上限を提供する。
• データから論理構造としきい値の両方を学習することで、手動でのテンプレート指定を回避し、非線形特徴へも一般化可能となる。

実験結果

リサーチクエスチョン

• RQ1 意思決定木は、テストデータから数値的不等式の論理結合として複雑な帰納的不変量を効果的に学習できるか？
• RQ2 大規模なサンプルセットにおいて、意思決定木ベースの不変量学習のスケーラビリティは、既存の機械学習ベースの手法と比べてどうか？
• RQ3 特徴量設計、特にオクタゴン風の傾きの使用が、推論された不変量の表現力と正確性に与える影響は何か？
• RQ4 十分なテストデータが得られれば、修正ループを必要とせず、高い正確性を達成できるか？
• RQ5 本手法の理論的完全性保証は、他の学習ベースの不変量推論手法と比べてどうか？

主な発見

• 本アルゴリズムは、他のツールが困難とされる多数の挑戦的なCプログラムベンチマークに対して、安全な不変量を効果的に推論できた。
• 大規模なサンプルセットに対してもスケーラブルであり、時間計算量は O(mn log n) であり、O(mn³) のセットカバー法を上回る性能を示した。
• 意思決定木学習は、MCMC や ICE に基づくアプローチと比較して、より単純な不変量を生成した。これは、グリーディで階層的な構造が単純なモデルを好むためである。
• 固定テンプレートや有界しきい値を必要としないため、[14] や [30] よりも実行時間と表現力の両面で優れた性能を発揮した。
• 実際には修正ループを必要としない。十分なサンプリングにより、直接的に正しい不変量が得られるため、反例誘導型の修正に依存する ICE 学習フレームワークとは異なる。
• 理論的確率的完全性保証により、十分に大きなサンプルが得られれば、PACモデル下で高確率で安全な不変量が学習可能であることが保証される。