[論文レビュー] Combining STPA and BDD for Safety Analysis and Verification in Agile Development: A Controlled Experiment

Yang Wang, Stefan Wagner|arXiv (Cornell University)|Apr 5, 2018

Software Engineering Techniques and Practices参考文献 30被引用数 3

ひとこと要約

本論文は、安全で重要なシステムのアジャイル開発における安全確認のため、行動駆動開発（BDD）とシステム理論的プロセス分析（STPA）を統合する手法を提案する。この手法は、STPAから導出された安全要件をBDDのシナリオベースのテスト（'Given-When-Then'）によって検証するもので、従来のユーザ受入テスト（UAT）に比べてコミュニケーション効果性が著しく向上しているが、生産性、テストの網羅性、欠陥検出性において有意な差は認められなかった。

ABSTRACT

Context: Agile development is in widespread use, even in safety-critical domains. Motivation: However, there is a lack of an ap- propriate safety analysis and verification method in agile development. Objective: In this paper, we investigate the use of Behavior Driven De- velopment (BDD) instead of standard User Acceptance Testing (UAT) for safety verification with System-Theoretic Process Analysis (STPA) for safety analysis in agile development. Method: We evaluate the effect of this combination in a controlled experiment with 44 students in terms of productivity, test thoroughness, fault detection effectiveness and com- munication effectiveness. Results: The results show that BDD is more effective for safety verification regarding the impact on communication effectiveness than standard UAT, whereas productivity, test thorough- ness and fault detection effectiveness show no statistically significant difference in our controlled experiment. Conclusion: The combination of BDD and STPA seems promising with an enhancement on communica- tion, but its impact needs more research.

研究の動機と目的

• 安全で重要なシステム（SCS）のアジャイル開発における、統合的安全分析と検証手法の不足を解消すること。
• アジャイル環境において、従来のUATに比べてBDDがより効果的な安全確認手法として機能するかどうかを調査すること。
• STPAによる安全分析とBDDによる安全検証を組み合わせた場合、主な開発指標に与える影響を評価すること。
• イテレーション開発の過程で、BDDが安全要件に関するコミュニケーションをどのように向上させるかを検討すること。
• システム理論的原則に従ってガイドされた安全で重要な動作の検証において、BDDの実現可能性と有効性を評価すること。

提案手法

• 高レベルアーキテクチャ段階でSTPAを用いて安全分析を実施し、詳細または安定したシステム設計がなくても安全要件を導出する。
• BDDの'Given-When-Then'テンプレートを用いて、実装ではなくシステム動作に焦点を当てた、平易な英語による安全要件のシナリオを指定する。
• Javaコードを用いてテスト最後進方式でBDDテストケースを実装し、開発中のシステムと連携する。
• 44名の学生を対象とした制御実験を実施し、生産性、テストの網羅性、欠陥検出効果性、コミュニケーション効果性の4つの評価次元において、BDDとUATを比較する。
• 継続的インテグレーションに統合された自動テストスイートを用いて、テストステータスを追跡し、リアルタイムフィードバックを支援する。
• アンケートとパフォーマンスメトリクスを通じてデータを収集・分析し、BDDがコミュニケーションおよび検証品質に与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 BDDをUATに代えて使用することで、アジャイル開発における安全確認の文脈で、コミュニケーション効果性が向上するか？
• RQ2 BDDとUATを用いた安全確認において、生産性に統計的に有意な差が生じるか？
• RQ3 BDDとUATは、テストの網羅性および欠陥検出効果性において、どのように比較されるか？
• RQ4 BDDは、安全要件における機能的ギャップやエッジケースをどの程度早期に検出できるか？
• RQ5 BDDは、開発者、ビジネスアナリスト、安全関係者間の双方向トレーサビリティと共有理解をどの程度向上させるか？

主な発見

• BDDはUATに比べてコミュニケーション効果性が顕著に向上しており、24のコミュニケーション側面のうち11つで統計的有意性が確認された。
• BDDの'Given-When-Then'フォーマットは明確性を高め、曖昧性を低減し、安全要件の理解と文書化をより良く可能にした。
• BDDテストケースは、厳密な命名規則と階層的構造のおかげで、より整理されており、読みやすく、保守しやすかったと評価された。
• 開発者たちは、BDDシナリオを記述することで安全要件に対してより深く関与し、エッジケースや機能的ギャップを早期に特定できたと報告した。
• ビジネスアナリストは、BDDテストケースがコードへの直接的なトレーサビリティを持ち、自動レポートによるリアルタイムの検証ステータスを確認できるため、それらをより信頼できたと述べた。
• BDDとUATの間で、生産性、テストの網羅性、欠陥検出効果性において統計的に有意な差は認められなかった。これは、テストコードの単純さと手動によるマューテーション解析の影響が考えられる。