[論文レビュー] Empirical Analysis of Factors and their Effect on Test Flakiness - Practitioners' Perceptions

Azeem Ahmad, Ola Leifler+1 more|arXiv (Cornell University)|Jun 3, 2019

Software Engineering Research参考文献 44被引用数 9

ひとこと要約

本研究は、スカンジナビア4地域の産業における複数の事例研究を通じて、実務家がテストの不安定性（flakiness）をどのように認識しているかを調査し、23の要因を同定した。これらは、テスト品質、ソフトウェア品質、実際の不安定テスト、および企業固有の要因に分類される。主な貢献は、実務家が関与したフレームワークで、参加者間で86%の合意が得られた。これは、反応的検出ではなく予防ガイドラインの必要性を強調している。

ABSTRACT

Developers always wish to ensure that their latest changes to the code base do not break existing functionality. If test cases fail, they expect these failures to be connected to the submitted changes. Unfortunately, a flaky test can be the reason for a test failure. Developers spend time to relate possible test failures to the submitted changes only to find out that the cause for these failures is test flakiness. The dilemma of an identification of the real failures or flaky test failures affects developers' perceptions about what is test flakiness. Prior research on test flakiness has been limited to test smells and tools to detect test flakiness. In this paper, we have conducted a multiple case study with four different industries in Scandinavia to understand practitioners' perceptions about test flakiness and how this varies between industries. We observed that there are little differences in how the practitioners perceive test flakiness. We identified 23 factors that are perceived to affect test flakiness. These perceived factors are categorized as 1) Software test quality, 2) Software Quality, 3) Actual Flaky test and 4) Company-specific factors. We have studied the nature of effects such as whether factors increase, decrease or affect the ability to detect test flakiness. We validated our findings with different participants of the 4 companies to avoid biases. The average agreement rate of the identified factors and their effects are 86% and 86% respectively, among participants.

研究の動機と目的

• 実世界の産業環境における実務家がテストの不安定性をどのように認識しているかを理解すること。
• テストの臭い（test smells）を超えた要因について、実務家が不安定性の増加・減少・検出に影響すると考える要因を特定すること。
• 複数の企業での検証を通じてバイアスを低減し、一般化可能性を高めること。
• 業界ごとの不安定性の認識の違いが、テスト品質の実践にどのように影響するかを調査すること。
• 実務家の経験に基づいたソフトウェアテストにおける予防戦略の基盤を提供すること。

提案手法

• スカンジナビアの4つの異なる業界にまたがる複数の事例研究を実施した。
• オンラインアンケート、対面でのワークショップ、現場訪問を通じて、実務家の認識を収集した。
• テストの不安定性に影響する23の要因を、ソフトウェアテスト品質、ソフトウェア品質、実際の不安定テスト、企業固有の要因の4つの分野に分類した。
• バイアスを低減し、合意に到るため、異なる参加者による別々のワークショップを通じて、研究結果を検証した。
• 既存の文献と照合することで、同定された要因が既知のテスト原則と整合しているかを検証した。
• 定性的および定量的分析を用い、参加者間の合意率（要因について86%、影響について86%）を評価した。

実験結果

リサーチクエスチョン

• RQ1 異なる業界の実務家は、テストの不安定性をどのように認識しているか？
• RQ2 テストの臭いを超えた要因として、実務家が不安定性に影響すると考える要因は何か？
• RQ3 これらの要因は、不安定テストの検出または発生にどのように影響するか？
• RQ4 実務家は、同定された要因およびその影響についてどの程度合意しているか？
• RQ5 企業固有の実践は、不安定性の認識にどのように影響するか？

主な発見

• テストの不安定性に影響する23の要因が同定され、ソフトウェアテスト品質、ソフトウェア品質、実際の不安定テスト、企業固有の要因の4つの分野に分類された。
• 参加者間の要因に関する平均合意率は86%であり、影響に関する合意率も86%で、強い合意が得られた。
• 実務家は、不安定テストを、コードの臭いだけでなく、テストケース設計の悪さ、環境のばらつき、組織の実践によるものと認識している。
• 『ウェブコンポーネントの実行時生成』のような要因は、ある企業では非常に不安定だと認識されたが、他の企業ではそうではなかった。これは、文脈依存的な認識の存在を示している。
• 本研究では、認識された不安定性が、技術的アーティファクトだけでなく、職場での経験、観察された失敗、組織文化に影響を受けることが判明した。
• 実務家は、不安定テストは本質的にテストケースの品質に関係しており、設計ガイドラインによる予防が、事後検出よりも効果的であると強調している。