[論文レビュー] Testing Quality Requirements of a System-of-Systems in the Public Sector - Challenges and Potential Remedies

Jacob Larsson, Markus Borg+1 more|arXiv (Cornell University)|Feb 17, 2016

Advanced Software Engineering Methodologies参考文献 32被引用数 6

ひとこと要約

本論文はスウェーデンの大型公共部門システム・オブ・システムにおいて品質要件をテストする際の課題を調査し、要件工学の不備やテスト管理の断片化といった問題を特定している。文献に由来する解決策——たとえばツインピークスモデル、QUPER、アーキテクチャ的に重要な要件——を提案し、統合的アプローチが複雑で複数のステークホルダーが関与するソフトウェアプロジェクトにおける品質保証を向上させることの可能性を示している。

ABSTRACT

Quality requirements is a difficult concept in software projects, and testing software qualities is a well-known challenge. Without proper management of quality requirements, there is an increased risk that the software product under development will not meet the expectations of its future users. In this paper, we share experiences from testing quality requirements when developing a large system-of-systems in the public sector in Sweden. We complement the experience reporting by analyzing documents from the case under study. As a final step, we match the identified challenges with solution proposals from the literature. We report five main challenges covering inadequate requirements engineering and disconnected test managers. Finally, we match the challenges to solutions proposed in the scientific literature, including integrated requirements engineering, the twin peaks model, virtual plumblines, the QUPER model, and architecturally significant requirements. Our experiences are valuable to other large development projects struggling with testing of quality requirements. Furthermore, the report could be used by as input to process improvement activities in the case under study.

研究の動機と目的

• スウェーデンの大型公共部門システム・オブ・システムプロジェクトにおける品質要件のテストに関する課題を特定・分析すること。
• 組織的・プロセス的ギャップ——たとえば、劣悪な要件工学や断片化したテスト管理——が品質保証に与える影響を特定すること。
• 複雑なシステムにおける品質保証の向上を図るために、ソフトウェア工学の文献から得た実証的解決策と実務的課題を統合すること。
• 研究に基づいた実用的提案を通じて、大規模な公共ソフトウェア開発におけるプロセス改善を支援すること。
• とりわけ規制された公共部門環境におけるシステム・オブ・システムの品質要件テストに関する知的蓄積に貢献すること。

提案手法

• スウェーデンの実際の公共部門システム・オブ・システムプロジェクトを対象とした事例研究分析を実施し、品質要件のテストに焦点を当てた。
• プロジェクトライフサイクルの文書分析を統合的に活用し、システム的問題を特定するための実地観察を補完した。
• 科学的文献に由来する解決フレームワーク——たとえばツインピークスモデルやQUPER——に、同定された課題をマッピングした。
• アーキテクチャ的に重要な要件およびバーチャル・プラムブリンの適用可能性を評価し、品質テストのギャップを埋める可能性を検証した。
• 統合的要件工学アプローチを用いて、分散開発チーム間での品質目標の整合性を図った。
• 研究結果を統合し、課題と根拠に基づく解決策を結びつける構造的フレームワークを構築した。

実験結果

リサーチクエスチョン

• RQ1 大型公共部門システム・オブ・システムにおける品質要件のテストに直面する主な課題は何か？
• RQ2 組織的・プロセス的ギャップ——たとえば、テスト管理の断片化や要件工学の弱体化——が品質保証に与える影響はどのようなものか？
• RQ3 文献で提唱されたモデルやフレームワークの中で、品質要件テストの課題を効果的に解決できるものは何か？
• RQ4 ツインピークスモデルやQUPERといった統合的アプローチは、複雑なシステムにおいて品質テストの成果をどの程度向上させ得るか？
• RQ5 研究結果は、大規模な公共ソフトウェア開発プロジェクトにおけるプロセス改善を支援するために、どのように活用できるか？

主な発見

• 本研究では、品質要件のテストに関する5つの主要な課題を同定した。その例として、要件工学の不備やテスト管理の断片化が挙げられる。
• テストマネージャーの分離と、品質目標とシステムアーキテクチャとの間の整合性欠如が、テスト結果の不一致を引き起こした。
• ツインピークスモデルは要件と設計活動の整合性を高め、仕様のギャップを低減するのに有効であることが判明した。
• QUPERモデルは、品質要件の同定とテストに体系的なアプローチを提供し、トレーサビリティとカバレッジの向上に寄与した。
• バーチャル・プラムブリンは、分散コンポーネントにおける品質問題の早期特定を可能にするため、エンド・ツー・エンドのシステム動作をシミュレートするのに役立った。
• アーキテクチャ的に重要な要件は、全体のシステム品質および非機能的特性に影響を与えるコンポーネントへのテスト活動の集中を可能にし、極めて重要であった。