[論文レビュー] Learning Timed Automata via Genetic Programming

Martin Tappler, Bernhard K. Aichernig+2 more|arXiv (Cornell University)|Aug 23, 2018

Software Testing and Debugging Techniques参考文献 42被引用数 7

ひとこと要約

本稿では、突然変異、交叉、適応度評価を用いてテストデータと整合するモデルを進化させる、遺伝的プログラミング手法を提案する。この手法は、実際のシステムおよびランダムに生成された例を含む44のシステムにおいて、決定的時刻付き自動機（TAs）を成功裏に学習し、良好な一般化性能と収束性を示しており、ブラックボックス型リアルタイムシステムモデリングの有効性を示している。

ABSTRACT

Model learning has gained increasing interest in recent years. It derives behavioural models from test data of black-box systems. The main advantage offered by such techniques is that they enable model-based analysis without access to the internals of a system. Applications range from fully automated testing over model checking to system understanding. Current work focuses on learning variations of finite state machines. However, most techniques consider discrete time. In this paper, we present a method for learning timed automata, finite state machines extended with real-valued clocks. The learning method generates a model consistent with a set of timed traces collected by testing. This generation is based on genetic programming, a search-based technique for automatic program creation. We evaluate our approach on 44 timed systems, comprising four systems from the literature and 40 randomly generated examples.

研究の動機と目的

• ブラックボックス系の観測から時刻付き自動機を学習するためのスケーラブルで効果的な手法の不足に対処すること。
• 内部システムのアクセスを必要としないリアルタイムシステムモデリングを支援するモデル学習フレームワークの開発。
• 時計を備えた時刻付きシステムに拡張することで、従来の有限状態自動機学習手法の限界を克服すること。
• 手作業で設計されたおよびランダムに生成された時刻付き自動機を対象にアプローチを評価し、耐障害性と一般化性能を検証すること。
• 進化計算を用いた複雑なリアルタイムシステム動作の学習の可能性を検討すること。

提案手法

• 本手法は、受動的テストにより収集された時刻付きトレースから、遺伝的プログラミングを用いて決定的時刻付き自動機（TAs）を進化させる。
• カスタムの適応度関数が、候補となるTAsが提供された時刻付きトレースとどの程度一致するかを評価し、適合性と構造的正確性を測定する。
• 突然変異オペレータは、状態、遷移、ガード、時計リセットなどのTA要素を変更することで、探索空間を探索する。
• 交叉は、2つの親TAsの構造的要素を交換することで、より良い適応度を持つ可能性のある新しい子孫を生成する。
• アルゴリズムは、選択と置換を用いて、反復的にTAsの集団を進化させ、適応度の高いモデルを選別する。
• 本手法はデフォルトで受動的であるが、将来的にはフィードバックを用いたモデルの精練を可能にするために、アクティブテストとの統合も可能である。

実験結果

リサーチクエスチョン

• RQ1 システム構造の事前知識なしに、遺伝的プログラミングが時刻付きトレースから決定的時刻付き自動機を効果的に学習できるか。
• RQ2 学習されたTAsは、独立に生成されたテストデータに対してどの程度一般化できるか。過学習を避けることができるか。
• RQ3 突然変異および交叉オペレータは、正しいTAモデルの発見にどのように寄与するか。
• RQ4 本手法は、アクティブ学習およびモデルチェックインテグレーションをサポートするように拡張可能か。
• RQ5 多様な時刻付き自動機（合成的および実世界の例を含む）に対して、遺伝的プログラミングアプローチのスケーラビリティと収束性はどの程度か。

主な発見

• 遺伝的プログラミングフレームワークは、4つの手作業で作成されたシステムおよび40つのランダムに生成されたシステムを含む全44のテストケースに対して、整合性のある決定的時刻付き自動機を成功裏に学習した。
• 独立に生成されたテストデータに対しても、学習済みモデルは良好に一般化されており、強力な耐障害性と低過学習性を示している。
• 本手法は、多様なシステムタイプにおいて、正しいモデルへの信頼性の高い収束を示しており、適応度評価および遺伝的オペレータの有効性を確認した。
• 本手法は、状態数や構造の事前知識がなくても、ブラックボックス型リアルタイムシステムモデリングにおいてスケーラブルかつ効果的である。
• 突然変異、交叉、および細粒度の適応度評価の統合により、モデル空間の効率的探索と正確なモデル推定が可能になった。
• 結果から、遺伝的プログラミングは、リアルタイムシステムにおける複雑な時刻付き動作の学習に実用的で柔軟な手法であると示唆される。