[論文レビュー] An Entry Point for Formal Methods: Specification and Analysis of Event Logs

Howard Barringer, Alex Groce+2 more|arXiv (Cornell University)|Mar 8, 2010

Software Testing and Debugging Techniques被引用数 8

ひとこと要約

本論文では、火星科学研究所ミッションの事前イベントログを分析するために形式仕様言語を用いることを提案し、リアルタイムのインストルメンテーションを必要としないスケーラブルなランタイム検証を可能にする。ログを形式的トレースとして扱い、要件をイベントシーケンスとして指定することで、パターンベースのルール、ステートマシン、およびテスト実行からの自動仕様学習を支援するドメイン固有言語を用いた、複雑なフライトソフトウェアのテストの実用的かつ実用的な手法を示している。

ABSTRACT

Formal specification languages have long languished, due to the grave scalability problems faced by complete verification methods. Runtime verification promises to use formal specifications to automate part of the more scalable art of testing, but has not been widely applied to real systems, and often falters due to the cost and complexity of instrumentation for online monitoring. In this paper we discuss work in progress to apply an event-based specification system to the logging mechanism of the Mars Science Laboratory mission at JPL. By focusing on log analysis, we exploit the "instrumentation" already implemented and required for communicating with the spacecraft. We argue that this work both shows a practical method for using formal specifications in testing and opens interesting research avenues, including a challenging specification learning problem.

研究の動機と目的

• 現実世界の航空宇宙システムにおける形式的検証のスケーラビリティと実用性の課題に対処すること。
• リアルタイムのインストルメンテーションを必要とせず、既存のイベントログを活用することで形式的仕様に基づくテストを可能にすること。
• テストエンジニアが使いやすく、表現力に富んだドメイン固有の仕様言語を開発すること。
• 成功したテスト実行から自動的に仕様を学習する手法を検討し、手作業による仕様作成の負担を軽減すること。
• ジェット推進研究所（JPL）のフライトソフトウェアテストパイプラインに形式的検証を統合し、テストの信頼性と保守性を向上させること。

提案手法

• 宇宙船のテスト中に生成されたイベントログのオフライン分析を採用し、それらを形式的検証のための実行トレースとして扱う。
• パターンベースのルールとパラメータ化されたイベントおよびデータバインディングを備えたステートマシンをサポートするドメイン固有の仕様言語を導入する。
• パターン言語をRulerから派生したより表現力の高いルールベース言語にコンパイルし、複雑なイベントシーケンスの検証を可能にする。
• Pythonで定義されたユーザー定義述語により、仕様の表現力を拡張し、フィールド値や導出条件のチェックを可能にする。
• 学習機能により、「良い」テスト実行から共通する実行パターンを抽出し、再利用可能な候補仕様を自動生成する。
• Graphvizを用いて仕様を可視化し、違反はログファイルへの参照とともに報告することでトレーサビリティを確保する。

Figure 1: observable events of a system

実験結果

リサーチクエスチョン

• RQ1 リアルタイムのインストルメンテーションを必要とせず、既存のイベントログを用いることで、形式的仕様技法が現実世界の航空宇宙システムに効果的に適用可能か。
• RQ2 ドメイン固有の言語が、テストエンジニアにとっての形式的仕様のアクセス性と保守性をどの程度向上させるか。
• RQ3 成功したテスト実行から自動的に仕様を学習する手法が、手作業による仕様作成の負担をどの程度軽減できるか。
• RQ4 複雑なソフトウェアテストワークフローにおけるログ分析に形式的手法を用いることで、実用的な利点は何か。
• RQ5 既存のテストパイプラインに形式的手法を統合することで、テストの信頼性が向上し、エラーが減少するか。

主な発見

• 提案手法により、複雑なランタイムインストルメンテーションを必要とせず、事前に存在するイベントログを用いたフライトソフトウェアの形式的検証が成功した。
• テストエンジニアは仕様言語を直感的かつ使いやすく感じ、MSLテストパイプラインへの迅速な統合が実現した。
• 仕様学習機能により、「良い」テスト実行から抽出されたパターンを自動生成することで、詳細なパターンの作成にかかる負担が軽減された。
• ログファイルへの参照が関連付けられた正確なエラートレースにより、違反が検出され、デバッグ性とトレーサビリティが向上した。
• 大規模なイベントログを含む複雑な宇宙船システムの分析を通じて、本手法の実用的スケーラビリティが実証された。
• 本手法により、安全で重要なシステムにおけるイベントシーケンスからの仕様マイニングや学習に関する新たな研究分野が開かれた。