[論文レビュー] Dynamic Analysis of Regression Problems in Industrial Systems: Challenges and Solutions

Fabrizio Pastore, Leonardo Mariani|arXiv (Cornell University)|May 23, 2017

Software Testing and Debugging Techniques参考文献 9被引用数 10

ひとこと要約

本稿では、実行時検証、仕様抽出、静的解析を統合したアプローチを提案し、産業用ソフトウェアシステムにおけるレグレッション障害の検出と診断を行う。実行トレースから動作特性を自動抽出し、モデルチェックを用いて不正確なものを除外し、関連するコード領域にのみ監視を限定することで、パスしたおよび失敗したテストケースに対する実行時チェックを通じて、レグレッション障害を効果的に特定する。これにより、誤検出を顕著に低減し、実際の導入環境における開発者の使いやすさが向上する。

ABSTRACT

This paper presents the result of our experience with the ap- plication of runtime verification, testing and static analysis techniques to several industrial projects. We discuss the eight most relevant challenges that we experienced, and the strategies that we elaborated to face them.

研究の動機と目的

• 手動で仕様を定義することが現実的でない大規模で進化を続ける産業用ソフトウェアシステムにおけるレグレッション障害の検出という課題に対処すること。
• 手動で作成された仕様の限界を克服し、実行トレースからの自動抽出を通じて仕様を導出すること。
• 静的解析（例：モデルチェック）によるフィルタリングを通じて、正確で確認済みの仕様のみを保持することで、誤検出の低減と診断精度の向上を図ること。
• コードのインストルメンテーションを回避し、継続的インテグレーション（CI）パイプラインをサポートすることで、産業開発ワークフローへのシームレスな統合を可能にすること。
• 診断出力を階層的に整理し、ノイズを除いた意味のある因果関係の連鎖を優先することで、障害原因の効率的特定を支援すること。

提案手法

• ベースとなるソフトウェアバージョンからの実行トレースを収集し、動作パターンを抽出する。
• 変数の値や操作の順序に注目して、仕様抽出技術を用いて候補となる動作特性を抽出する。
• 静的解析（例：モデルチェック）を適用し、不正確または過剰適合した特性を除外し、ベースシステムに対して形式的に正当化されたもののみを保持する。
• アップグレード済みシステムにおけるパスしたテストケースを監視し、変更によって意図的に無効化された特性（古くなった特性）を特定する。
• 残った最新の特性を用いて、アップグレード済みシステムにおける失敗したテストケースを監視し、レグレッション障害を説明する異常イベントを検出する。
• 最新の特性に対して静的検証を適用し、いかなるテストケースでも発火しないレグレッション障害を特定することで、故障カバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 手動で作成された仕様に依存せずに、産業用システムにおける機能的レグレッション障害を自動的に検出する方法は何か？
• RQ2 自動抽出された仕様を用いた実行時検証において、誤検出を低減する戦略は何か？
• RQ3 大規模な産業用システムにおけるスケーラビリティを向上させるために、監視をどのコード領域に集中させるべきか？
• RQ4 既存の産業用CI/CDパイプラインに実行時検証をどのようにシームレスに統合できるか？
• RQ5 開発者が効率的に根本原因分析を実施できるように、診断出力をどのように構造化すべきか？

主な発見

• 仕様抽出により、産業用システムにおいて手動で定義されたものと同等の有効な機能的特性のセットが生成された。
• モデルチェックによる静的除外処理により、不正確または過剰適合した特性の数が顕著に減少し、解析の信頼性が向上した。
• 変更されたコードの機能的近傍領域に監視を集中させつつ、変更されたコード自体を除外することで、大規模な産業用システムにおいてもスケーラブルかつ効果的な実行時分析が可能になった。
• ビルドプロセスを変更せずにGDBおよびPINツールを用いて監視スクリプトを生成する手法は、開発者から好評を得ており、シームレスな統合を可能にした。
• 診断出力を階層的で因果関係に基づいたビューに整理することで、開発者の理解度が向上し、誤検出に費やす時間が短縮された。
• Jenkinsプラグインとの統合により、最小限の構成オーバヘッドで継続的インテグレーション環境に導入可能となり、採用可能性が向上した。