[論文レビュー] Complementing Model Learning with Mutation-Based Fuzzing

Rick Smetsers, Joshua Moerman+2 more|arXiv (Cornell University)|Nov 8, 2016

Machine Learning and Algorithms参考文献 4被引用数 9

ひとこと要約

本稿では、反応系における有限状態機械（FSM）推論のための反例発見を改善するために、最小十分な教師フレームワークにおけるマッピングベースのファズィングとモデル学習を統合する手法を提案する。ファズィングと適合性テストおよび学習アルゴリズムを組み合わせることで、RERSチャレンジ問題における到達可能なエラー状態のカバレッジが向上し、到達可能性タスクにおいて従来手法よりも多くのエラーをファズィングが発見する一方で、LTL検証においては成功を確認する。

ABSTRACT

An ongoing challenge for learning algorithms formulated in the Minimally Adequate Teacher framework is to efficiently obtain counterexamples. In this paper we compare and combine conformance testing and mutation-based fuzzing methods for obtaining counterexamples when learning finite state machine models for the reactive software systems of the Rigorous Exampination of Reactive Systems (RERS) challenge. We have found that for the LTL problems of the challenge the fuzzer provided an independent confirmation that the learning process had been successful, since no additional counterexamples were found. For the reachability problems of the challenge, however, the fuzzer discovered more reachable error states than the learner and tester, albeit in some cases the learner and tester found some that were not discovered by the fuzzer. This leads us to believe that these orthogonal approaches are complementary in the context of model learning.

研究の動機と目的

• 最小十分な教師フレームワーク下でのモデル学習において、反例を効率的に得る課題に対処する。
• FSMサイズの事前上限に依存する適合性テストの限界を克服する。
• 反例生成における代替的または補完的技術として、マッピングベースのファズィングを評価する。
• ファズィングが到達可能なエラー状態を発見し、学習されたモデルを実世界の反応系で検証する有効性を評価する。
• ファズィングと従来の学習／テスト手法がモデル推論パイプラインでどのように補い合うかを示す。

提案手法

• AFL（マッピングベースのファズィングツール）をLearnLibと統合し、ターゲット反応系のためのテスト入力を生成および進化させる。
• AFLを拡張し、共有メモリを介してシステム出力をキャプチャおよび公開することで、LearnLibの入出力モデルとの互換性を確保する。
• AFLのフォークサーバーを用いて、各クエリごとにターゲットプロセスを分離および再起動し、状態保持系との相互作用をサポートする。
• ファズィングを学習者およびテストャーに依存せずにテストシーケンスを生成し、それらを同等性クエリとして使用する。
• ファズィングを適合性テストおよびL*学習と組み合わせ、FSM仮説の検証および精練に用いる。
• コードカバレッジおよび出力差異に基づくフィットネス関数を用い、変異を誘導し、興味深いテストケースを優先する。

実験結果

リサーチクエスチョン

• RQ1 FSMサイズの既知の上限がない状況下で、マッピングベースのファズィングが反例を効果的に発見できるか。
• RQ2 反応系における到達可能なエラー状態のカバレッジに関して、ファズィングと適合性テストの違いは何か。
• RQ3 ファズィングと従来の学習／テスト手法が、重複するか、補い合うエラー状態をどの程度発見するか。
• RQ4 ファズィングがモデル学習の成功を独立して検証するメカニズムとして機能できるか。
• RQ5 同等性クエリオラクルとしてファズィングを使用した場合、学習時間およびクエリ回数にどのようなパフォーマンス影響があるか。

主な発見

• RERS 2016チャレンジのLTL問題において、ファズィングは適合性テストが発見した反例を超える新たな反例を発見しなかった。これは、学習プロセスの正しさを確認するものである。
• 到達可能性問題において、ファズィングは学習者およびテストャーが発見したよりも多くの到達可能なエラー状態を発見した。例えば、問題1ではファズィングが29/29のエラー状態を発見した一方、適合性テストでは19/29にとどまった。
• 一部のケースでは、学習者およびテストャーがファズィングが発見しなかったエラー状態を発見しており、カバレッジの非重複性を示している。
• ファズィングを同等性オラクルとして使用することで、学習時間を顕著に短縮した。問題1では、ファズィングを用いた学習は21秒で完了したが、W法則適合性テストでは13時間かかった。
• クエリ回数も大幅に削減された。問題1では、ファズィングでは16,731回のクエリで済んだが、W法則適合性テストでは2.46×10⁸回にのぼった。
• ファズィングはより高い状態モデルの正確性（例：問題1ではファズィングで1,027状態、W法則適合性テストで25状態）を達成しており、モデルの忠実度が向上していることを示している。