[論文レビュー] Artificial table testing dynamically adaptive systems

Freddy Muñoz, Benoît Baudry|ArXiv.org|Mar 5, 2009

Software Testing and Debugging Techniques参考文献 22被引用数 10

ひとこと要約

本稿では、動的適応型システム（DAS）の適応ポリシーをストレステストするための、検索ベースのテスト戦略である人工シェイキングテーブルテスト（ASTT）を提案する。ASTTは、『人工的な地震』と呼ばれる人工的な環境的擾乱を生成することで、適応ポリシーの欠陥を露呈させる。環境変動の生成を最適化問題としてモデル化することにより、ASTTは高影響度の環境条件を能率的に探索し、適応論理の欠陥を特定する。この手法により、組み合わせ的テストケースの爆発的増加を著しく抑制するとともに、宇宙探査や災害対応など、極めて重要な分野における故障検出の精度が向上する。

ABSTRACT

Dynamically Adaptive Systems (DAS) are systems that modify their behavior and structure in response to changes in their surrounding environment. Critical mission systems increasingly incorporate adaptation and response to the environment; examples include disaster relief and space exploration systems. These systems can be decomposed in two parts: the adaptation policy that specifies how the system must react according to the environmental changes and the set of possible variants to reconfigure the system. A major challenge for testing these systems is the combinatorial explosions of variants and envi-ronment conditions to which the system must react. In this paper we focus on testing the adaption policy and propose a strategy for the selection of envi-ronmental variations that can reveal faults in the policy. Artificial Shaking Table Testing (ASTT) is a strategy inspired by shaking table testing (STT), a technique widely used in civil engineering to evaluate building's structural re-sistance to seismic events. ASTT makes use of artificial earthquakes that simu-late violent changes in the environmental conditions and stresses the system adaptation capability. We model the generation of artificial earthquakes as a search problem in which the goal is to optimize different types of envi-ronmental variations.

研究の動機と目的

• 膨大な環境条件とシステムバリアントの組み合わせによる、動的適応型システム（DAS）のテストにおける組み合わせ的爆発の課題に対処すること。
• 低レベルのコンponent動作ではなく、環境変化に応じたシステムの反応を制御する『適応ポリシー』に焦点を当てる。
• システムの適応メカニズムをストレステストする高影響度の環境変動を体系的に生成する手法を開発すること。
• 地震工学における地震イベントに類似した現実的で極端な環境的擾乱を模擬することで、テストの有効性を向上させること。
• 宇宙探査や災害救援など、安全が重要な分野におけるDASの効率的でスケーラブルなテストを可能にすること。

提案手法

• 土木工学におけるシェイキングテーブルテスト（STT）の概念をソフトウェアテストに応用し、突然で深刻な環境変化を模倣する『人工地震』を生成する。
• 環境変動の生成を検索問題としてモデル化し、適応ポリシーに対する多様性とストレスの両方を最適化する。
• 検索ベースのソフトウェア工学（SBSE）技術を用いて、適応論理に最大限のストレスをかける可能性のある環境条件の空間を探索する。
• 期待される動作からの逸脱に基づいて、特定の環境変動が適応ポリシーに与えるストレスの度合いを測定するフィットネス関数を定義する。
• 突然のセンサ障害や環境の急激な変化などを模倣する、人工的な環境的摂動を生成する。
• 繰り返し適用することで、適応ポリシーの欠陥を露呈する可能性が最も高い環境条件を探索・優先順位付けする。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、組み合わせ的に爆発的になる環境条件下で、動的適応型システムの適応ポリシーを効果的にテストできるか？
• RQ2 人工的な環境的擾乱（『人工地震』）は、DASの適応論理にどれほどストレスをかけることができ、潜在的な欠陥を明らかにできるか？
• RQ3 検索ベースの技術を用いて、自動的に高影響度の環境変動を生成し、適応ポリシーにおける欠陥を最大限に検出可能にすることができるか？
• RQ4 ASTTは、従来のテスト戦略と比較して、欠陥検出能力およびテストスイートのサイズの点で、どの程度効果的かつ効率的か？
• RQ5 どのような基準が、適応ポリシーの弱みを効果的に露呈する『ストレスの強い』環境変動を定義するか？

主な発見

• ASTTは、網羅的テストではなく高影響度の環境変動に焦点を当てることで、テストケースの組み合わせ的爆発を著しく低減する。
• 実世界の擾乱を模倣する極端な環境変化をシミュレートすることで、適応ポリシーの欠陥を効果的に特定する。
• 検索ベースの最適化によって生成された人工地震は、ランダムまたは均一なテスト戦略よりも、システムの適応論理により効果的にストレスをかける。
• 宇宙探査や災害対応など、適応の信頼性が極めて重要な安全が重要な分野においても、本手法は適用可能である。
• 環境変動の生成を最適化問題としてモデル化することにより、ASTTは適応ポリシーの体系的かつ再現可能なテストを可能にする。
• 本手法は、標的を絞った環境的ストレステストが、動的適応型システムにおける欠陥検出の効率を著しく向上させられることを示している。