[論文レビュー] Reframing the Test Pyramid for Digitally Transformed Organizations

Nicole Radziwill, Graham Freeman|arXiv (Cornell University)|Nov 2, 2020

Digital Platforms and Economics被引用数 4

ひとこと要約

この論文は、デジタルトランスフォーメーションを遂げた組織における伝統的なテストピラミッドを再考し、データ品質とパイプライン整合性をテスト戦略に統合することで、コードにとどまらずデータとモデルの検証を含む包括的でクロスファンクショナルなテストモデルを提唱する。主な貢献は、ソフトウェア、データ、システムの全範囲にわたるエンドツーエンドの品質保証を強調する再考されたテストピラミッドであり、組織が品質ギャップを埋め、統一されたテスト実践を通じて競争優位性を獲得できるようにする。

ABSTRACT

The test pyramid is a conceptual model that describes how quality checks can be organized to ensure coverage of all components of a system, at all scales. Originally conceived to help aerospace engineers plan tests to determine how material changes impact system integrity, the concept was gradually introduced into software engineering. Today, the test pyramid is typically used to illustrate that the majority of tests should be performed at the lowest (unit test) level, with fewer integration tests, and even fewer acceptance tests (which are the most expensive to produce, and the slowest to execute). Although the value of acceptance tests and integration tests increasingly depends on the integrity of the underlying data, models, and pipelines, software development and data management organizations have traditionally been siloed and quality assurance practice is not as mature in data operations as it is for software. Companies that close this gap by developing cross-organizational systems will create new competitive advantage and differentiation. By taking a more holistic view of testing that crosses these boundaries, practitioners can help their organizations close the gap.

研究の動機と目的

• デジタルトランスフォームを遂げた組織におけるソフトウェア開発とデータオペレーションの間の品質保証のギャップが拡大するのを是正すること。
• 受容テストおよび統合テストがデータ整合性に強く依存していること、これは従来のテストモデルでしばしば無視されていることの認識。
• 組織内のスイマーを越えてソフトウェア、データ、システムレベルのテストを統合する再考されたテストピラミッドの提唱。
• データパイプラインとモデルを最初のテストターゲットとして扱うことで、組織がより高い品質と信頼性を達成できるようにすること。
• データドリブンなデジタル企業における成熟したクロスオーガナイゼーション品質保証実践の開発を支援すること。

提案手法

• 従来のユニット、統合、受容テストに加え、データおよびモデル検証のレイヤーを追加することで、古典的なテストピラミッドの概念を拡張する。
• データパイプライン、データ品質、モデル動作をテストライフサイクルの不可欠な構成要素として扱う包括的テストフレームワークを導入する。
• テスト戦略が、システム間でのインジェストから利用までのデータのエンドツーエンド整合性を考慮する必要があると提言する。
• テスト実践をスタック全体にわたって一致させるために、ソフトウェアエンジニアリングチームとデータ管理チームの協働を奨励する。
• 特に統合テストおよび受容テストにおいて、データ品質チェックをすべてのレベルに組み込むよう推奨する。
• 生産システムにおける信頼性を確保するため、データおよびモデル動作の自動的かつ継続的な検証の活用を提唱する。

実験結果

リサーチクエスチョン

• RQ1 伝統的なソフトウェアテストモデルは、デジタルトランスフォームを遂げた組織におけるデータ品質の独自の課題に対応するためにどのように再編されるべきか？
• RQ2 データパイプラインの整合性は、統合テストおよび受容テストの効果性にどのような役割を果たすか？
• RQ3 ソフトウェア開発とデータオペレーションの間のスイマーをどのように解体することでエンドツーエンドシステム品質を向上させられるか？
• RQ4 テストピラミッドにおいてデータとモデルを最初のテストターゲットとして扱うことで生じる影響は何か？
• RQ5 クロスオーガナイゼーションのテスト実践をどのように制度化し、デジタルシステムにおける持続可能な品質を保証できるか？

主な発見

• 従来のテストピラミッドは、デジタルトランスフォームを遂げた組織には不十分であり、システムの信頼性においてデータおよびモデル品質の重要な役割が軽視されているためである。
• データ整合性は、統合テストおよび受容テストの妥当性に顕著な影響を与えるが、現在のテスト戦略ではしばしば無視されている。
• ソフトウェアとデータのテスト実践を統合する組織は、より高いシステム品質とより速いフィードバックサイクルを達成する。
• データおよびモデル検証レイヤーを含む再考されたテストピラミッドは、より強固で信頼性の高いデジタルシステムを生み出す。
• 成熟したスケーラブルな品質保証を実現するには、ソフトウェアチームとデータチームの間のクロスオーガナイゼーション連携が不可欠である。
• 提示されたモデルにより、組織は品質ギャップを埋め、エンドツーエンドのテストカバレッジを通じて競争優位性を獲得できる。