[論文レビュー] Model Learning: A Survey on Foundation, Tools and Applications

Shahbaz Ali, Hailong Sun+1 more|arXiv (Cornell University)|Dec 6, 2018

Software Testing and Debugging Techniques参考文献 151被引用数 4

ひとこと要約

本調査論文は、ブラックボックス型ソフトウェアおよびハードウェアシステムの動作モデルを自動的に推定する手法としてのモデル学習—特にアクティブオートマトン学習—について包括的な概要を提供する。基礎的なアルゴリズム、LearnLibのようなツール、テスト、検証、レガシーシステム解析への応用をレビューし、ソースコードにアクセスできない状況でも形式的解析を可能にすることで、安全で重要なシステムの信頼性向上の可能性を強調している。

ABSTRACT

The quality and correct functioning of software components embedded in electronic systems are of utmost concern especially for safety and mission-critical systems. Model-based testing and formal verification techniques can be employed to enhance the reliability of software systems. Formal models form the basis and are prerequisite for the application of these techniques. An emerging and promising model learning technique can complement testing and verification techniques by providing learned models of black box systems fully automatically. This paper surveys one such state of the art technique called model learning which recently has attracted much attention of researchers especially from the domains of testing and verification. This survey paper reviews and provides comparison summaries highlighting the merits and shortcomings of learning techniques, algorithms, and tools which form the basis of model learning. This paper also surveys the successful applications of model learning technique in multidisciplinary fields making it promising for testing and verification of realistic systems.

研究の動機と目的

• ソースコードや最新のドキュメンテーションが入手できないブラックボックスシステムの検証およびテストの課題に対処すること。
• システムの相互作用から形式的動作モデルを推定するアクティブおよびパッシブなモデル学習技術を特定し、分析すること。
• 実世界の応用における、既存のモデル学習ツールおよびアルゴリズムの能力と制限を評価すること。
• モデル学習を形式的検証およびテスト手法と統合し、システムの信頼性を向上させること。
• モデル学習における未解決の課題と今後の研究方向性を特定すること。特に、より洗練されたモデル形式や強化されたツールの開発が含まれる。

提案手法

• アングルンのL*アルゴリズムおよびその拡張に基づく最先端のアクティブオートマトン学習技術を調査すること。
• サポートされる形式的表現（例：DFA、メーリー機械、レジスタオートマトン）および機能（データ処理、非決定性のサポートなど）によって学習アルゴリズムを分類すること。
• 特にLearnLibを対象として、さまざまなモデル形式への対応、スケーラビリティ、テストおよび検証パイプラインへの統合を含めたツールの支援機能を分析すること。
• アクティブ学習とパッシブ学習のアプローチを比較し、アクティブ学習の相互作用の利点が、完全でないまたは誤ったモデルを回避する上で顕著であることを強調すること。
• 反例駆動の精錬と同等性チェックの役割が、モデルの正確性と完全性を向上させる上で果たす役割を評価すること。
• API準拠性の確認、レグレッションテスト、コンポONENT統合、レガシーシステムのリバースエンジニアリングなど、実世界の応用分野を調査すること。

実験結果

リサーチクエスチョン

• RQ1 現代のブラックボックスシステムにおけるモデル学習で用いられる主なアルゴリズム的基盤と形式的表現は何か？
• RQ2 システム動作が部分的に観測される状況において、アクティブ学習とパッシブ学習は、完全性と頑健性の観点でどのように比較できるか？
• RQ3 モデル学習ツールは、データ操作や時間制約といった複雑なシステム動作を処理する上で、現在どの程度の能力と制限を有しているか？
• RQ4 実世界の応用において、モデル学習はテストおよび検証の分野で測定可能な利点を示したか？
• RQ5 産業的スケールでの採用に向けてモデル学習を発展させる上で、最も重要な今後の研究方向性は何か？

主な発見

• 特にアクティブオートマトン学習を含むモデル学習は、ソースコードや詳細なドキュメンテーションがなくても、ブラックボックスシステムから動作モデルを完全に自動的に推定可能である。
• アクティブ学習技術は、システムを動的に問い合わせることで、欠落したトレースによる不完全または誤ったモデルのリスクを低減するため、パッシブ学習を著しく上回る。
• LearnLibのようなツールは、DFA、メーリー機械、レジスタオートマトンを含む幅広い形式的表現をサポートしており、より洗練されたシステム動作の処理に向けて継続的に拡張されている。
• モデル学習は、レグレッションテスト、API準拠性の確認、レガシーおよびサードパーティコンポonentの統合テストにおいて、実際に成功裏に応用されている。
• 進展は見られるものの、現在のアルゴリズムは複雑なデータ操作（例：等価性を超えた比較）のモデル化において制限を抱えており、より洗練された抽象化技術の開発が求められている。
• 今後の研究は、ホワイトボックス学習とブラックボックス学習の統合、非決定性システムにおける同等性チェックの改善、無限のアルファベットおよびリアルタイム制約をサポートするツールの拡張に焦点を当てるべきである。