[論文レビュー] Automated System-Level Software Testing of Industrial Networked Embedded Systems

Per Erik Strandberg|arXiv (Cornell University)|Nov 16, 2021

Software Testing and Debugging Techniques被引用数 8

ひとこと要約

本学位論文は、産業用ネットワーキング埋め込みシステムにおける自動化されたシステムレベルのテストに統合的アプローチを提案し、テストフロー管理、制約下でのテスト／ハードウェア選定、途切れ発生故障の分析、テスト結果の可視化といった課題に取り組む。データ駆動型のテスト優先順位付け、カバレッジ最適化、故障分類手法を導入し、実証的検証により、可視化ツールと途切れ発生故障のためのメトリクスを用いることで、テスト効率、カバレッジ、実行可能なインサイトの向上を示した。

ABSTRACT

Embedded systems are ubiquitous and play critical roles in management systems for industry and transport. Software failures in these domains may lead to loss of production or even loss of life, so the software in these systems needs to be reliable. Software testing is a standard approach for quality assurance of embedded software, and many software development processes strive for test automation. Out of the many challenges for successful software test automation, this thesis addresses five: (i) understanding how updated software reaches a test environment, how testing is conducted in the test environment, and how test results reach the developers that updated the software in the first place; (ii) selecting which test cases to execute in a test suite given constraints on available time and test systems; (iii) given that the test cases are run on different configurations of connected devices, selecting which hardware to use for each test case to be executed; (iv) analyzing test cases that, when executed over time on evolving software, testware or hardware revisions, appear to randomly fail; and (v) making test results information actionable with test results exploration and visualization. The challenges are tackled in several ways. [Abstract truncated.]

研究の動機と目的

• ソフトウェア障害が生産損失や安全リスクを引き起こす可能性がある産業用ネットワーキング埋め込みシステムにおける信頼性と品質保証を向上させること。
• 自動化されたシステムレベルのテストにおける主な課題に対処すること：情報フロー、時間的・リソース的制約下でのテスト／ハードウェア選定、途切れ発生テスト障害、テスト結果の使いやすさ。
• 可視化と診断メトリクスを用いて、テスト効率、カバレッジ、開発者による信頼を高める実用的でデータ駆動型のソリューションを開発すること。
• 実際の産業界データ（何年間もにわたる毎晩のテストから得たもの）に基づいて、産業界のテスト実務と学術的研究の間のギャップを埋めること。
• 開発プロセスのフィードバック駆動型改善を支援すること。テストをフィードバックループのシステムとしてモデル化することで、SDLC全体における意思決定を向上させること。

提案手法

• 産業界の実務者5名に対してインタビューを行い、埋め込みシステムテストにおけるエンドツーエンドの情報フローをマッピングし、主要なボトル neck やフィードバックポイントを同定した。
• 毎晩のレグレッションテスト実行から得た実際の産業界データを用いて、自動テスト選定およびハードウェア割り当てアルゴリズムを開発・評価し、実行時間とカバレッジの最適化を図った。
• 履歴実行データを用いて故障行動のパターンを検出することで、テストケースを途切れ発生または一貫して障害が発生するものに分類するための新規メトリクスを提案した。
• テスト結果の可視化および探索ツールを構築・評価し、CI/CDパイプラインに統合することで、実行可能なインサイトと開発者の意思決定支援を可能にした。
• 組合せテストおよび探索ベースの技術を用いて、テストシステムのトポロジーをモデル化し、ハードウェア構成 across でのテストマッピングを最適化した。
• 長期的なテストログに対して統計的およびパターン分析を適用し、途切れ発生障害の根本原因を同定し、一貫障害と比較した。

実験結果

リサーチクエスチョン

• RQ1 産業用埋め込みシステムにおけるソフトウェアテストプロセスの情報フローはどのように進行するのか。また、意思決定を向上させるために、どのように可視化できるか？
• RQ2 時間的・リソース的制約下で、テストケースとハードウェアデバイスを自動的に選定する方法は何か。その目的は、テストカバレッジと効率を最大化することである。
• RQ3 埋め込みシステムにおける途切れ発生テスト障害に寄与する要因は何であるか。また、それらを体系的に分類・診断する方法は何か？
• RQ4 CI/CD環境において、可視化とインタラクティブな探索を用いることで、テスト結果をどのようにより実行可能なものにできるか？
• RQ5 テストにおける自動化されたフィードバックループは、埋め込みソフトウェアシステムの信頼性および保守性をどの程度向上させることができるか？

主な発見

• 本研究では、テスト結果とフィードバックループが意思決定において極めて重要であることが明らかになった。中央集権的なテスト結果データベースの導入により、トレーサビリティと迅速な反応性が著しく向上した。
• 自動テスト選定およびハードウェア割り当て手法により、テストスイートの実行時間が短縮され、ハードウェアカバレッジが向上した。これは、テストイテレーションごとにデバイス構成を動的に変更することで達成された。
• 途切れ発生障害を分類するための提案メトリクスは、明確なパターンを効果的に同定した。その結果、このような障害はしばしばコードバグだけでなく、環境的要因や設定要因に起因することが示された。
• 根本原因分析の結果、途切れ発生障害はタイミング、ネットワークジッター、ハードウェアのばらつきによって引き起こされる傾向があるのに対し、一貫障害は主に論理エラーに起因することが分かった。
• 可視化ツールは開発者がテスト結果を効果的に探索できるようにし、使用ログから特定のビューやパターンの繰り返し使用が確認された。これは、実用的価値が非常に高いことを示している。
• テスト結果をフィードバックループに統合した結果、テストへの信頼性が向上し、特に障害パターンの診断的インサイトと組み合わせることで、誤検出の削減が実証された。