[論文レビュー] IDS: An Incremental Learning Algorithm for Finite Automata

Muddassar Azam Sindhu, Karl Meinke|arXiv (Cornell University)|Jun 13, 2012

Machine Learning and Algorithms参考文献 8被引用数 5

ひとこと要約

本稿では、区別列を用いて仮説オートマトンを段階的に効率的に構築する、決定的有限オートマトン（DFA）のためのインクリメンタル学習アルゴリズムIDSを紹介する。このアルゴリズムは極限において正しく証明されており、非インクリメンタル手法と比較して著しく高速かつ効率的であることが実験的に示されている。また、前継列閉包IDSは前継列非閉包IDSを上回り、学習時間とクエリ複雑性の面で優れているため、形式的テストやモデル推論などのソフトウェア工学的応用に最適である。

ABSTRACT

We present a new algorithm IDS for incremental learning of deterministic finite automata (DFA). This algorithm is based on the concept of distinguishing sequences introduced in (Angluin81). We give a rigorous proof that two versions of this learning algorithm correctly learn in the limit. Finally we present an empirical performance analysis that compares these two algorithms, focussing on learning times and different types of learning queries. We conclude that IDS is an efficient algorithm for software engineering applications of automata learning, such as testing and model inference.

研究の動機と目的

• ソフトウェア工学的応用に適した、効率的でインクリメンタルな決定的有限オートマトン（DFA）の学習アルゴリズムを開発すること。
• オフラインおよび非インクリメンタル学習の限界を克服し、オンラインクエリを用いた反復的仮説の改善を可能にすること。
• 過去の知識を再利用し、重複するクエリを最小限に抑えることで、学習効率を向上させること。
• 前継列非閉包および前継列閉包の2つの変種について、IDSアルゴリズムの正当性を厳密に証明すること。
• 両方のIDS変種の学習時間およびクエリ複雑性の観点から、性能を実験的に評価・比較すること。

提案手法

• IDSアルゴリズムは、状態の分割を定義するために区別列を用いて、仮説オートマトンを段階的に構築する。
• 目標DFAに極限で収束する仮説の列 $ H_0, H_1, \dots $ を維持する。
• 2つの変種を提案する：前継列非閉包IDSと前継列閉包IDSで、入力文字列の保存および再利用方法が異なる。
• 同値性オракルの必要性を回避するため、観測集合 $ P $ に常に完全でライブな入力文字列のセットを維持する。
• 仮説が目標と一致した段階で学習を終了させる、ほぼ線形時間の同値性チェックアルゴリズムを用いる。
• 実験的評価として、状態数が5～50のランダムに生成されたDFAを用い、学習時間、メンバークエリ、ブックキーピングクエリを記録した。

実験結果

リサーチクエスチョン

• RQ1 区別列を用いたDFAのインクリメンタル学習アルゴリズムは、極限において正しく学習可能に設計可能か？
• RQ2 前継列非閉包IDSと前継列閉包IDSの両者を、学習時間とクエリ複雑性の観点から比較するとどうなるか？
• RQ3 IDSによるインクリメンタル学習は、非インクリメンタル手法と比較して、メンバークエリおよびブックキーピングクエリの数を削減するか？
• RQ4 IDSは、モデル推論や形式的テストなどのソフトウェア工学的文脈におけるオンライン学習を効果的にサポートできるか？
• RQ5 前継列閉包IDSは、より良いデータ再利用により、前継列非閉包IDSよりも効率的か？

主な発見

• 前継列閉包IDSは平均的な学習時間がほぼ線形に増加するが、前継列非閉包IDSは状態数の増加に伴い約2次関数的に増加する。
• 両変種ともにメンバークエリの数は状態数にほぼ線形に増加し、スケーラビリティが確認された。
• ブックキーピングクエリの数は両変種ともに約2次関数的に増加するが、前継列閉包IDSは前継列非閉包IDSよりも少ない数を用いている。
• ブックキーピングクエリとメンバークエリの比が前継列閉包IDSで顕著に低く抑えられており、外部から生成されたクエリ（例：モデルチェッカーからのもの）の有効な活用が可能である。
• 実験的結果から、IDSは極めて効率的であることが確認され、反応系のテストにおいて誤り発見速度が非インクリメンタル学習と比較して最大4000倍速い。
• 実験的に前継列閉包IDSが性能で優れており、実用的なソフトウェア工学的応用において好ましい選択肢である。