[論文レビュー] Concurrency-related Flaky Test Detection in Android apps

Zhen Dong, Abhishek Tiwari+2 more|arXiv (Cornell University)|May 21, 2020

Software Testing and Debugging Techniques参考文献 27被引用数 11

ひとこと要約

本稿では、Androidアプリにおける並行処理関連の不確実テスト（flaky tests）を、UIスレッドおよびバックグラウンドスレッド間の実行順序の妥当な組み合わせを体系的に探索することで、事前に検出するツールであるFlakeScannerを提示する。イベントスケジューリングの上限を分析し、文ごとのイベントをグループ化することで、FlakeScannerは通過するテストでさえも不確実な挙動を特定でき、FlakyAppRepoスイートにおいて高い有効性を示した。これは、既知の事例を上回る245件の新しい不確実テストを同定した。

ABSTRACT

Validation of Android apps via testing is difficult owing to the presence of flaky tests. Due to non-deterministic execution environments, a sequence of events (a test) may lead to success or failure in unpredictable ways. In this work, we present an approach and tool FlakeShovel for detecting flaky tests through systematic exploration of event orders. Our key observation is that for a test in a mobile app, there is a testing framework thread which creates the test events, a main User-Interface (UI) thread processing these events, and there may be several other background threads running asynchronously. For any event e whose execution involves potential non-determinism, we localize the earliest (latest) event after (before) which e must happen.We then efficiently explore the schedules between the upper/lower bound events while grouping events within a single statement, to find whether the test outcome is flaky. We also create a suite of subject programs called DroidFlaker to study flaky tests in Android apps. Our experiments on subject-suite DroidFlaker demonstrate the efficacy of our flaky test detection. Our work is complementary to existing flaky test detection tools like Deflaker which check only failing tests. FlakeShovel can detect flaky tests among passing tests, as shown by our approach and experiments.

研究の動機と目的

• Android GUIテストにおける不確実テストの深刻な問題に対処すること。これは、リグレッションテストの信頼性と開発者の生産性を損なう。
• 標準実行では通過するが、特定の非決定的実行順序では失敗するような不確実テストを事前に検出すること。
• DeFlakerなどの既存ツールが失敗テストのみを分析するため、通過する不確実テストを逃すという限界を克服すること。
• 実世界のAndroidアプリにおける不確実テスト挙動を研究するための包括的なベンチマークスイート、FlakyAppRepoを構築すること。
• 正確なイベント依存関係を捉え、不完全な happens-before 関係による誤検出を回避する動的でシステムレベルの分析を提供すること。

提案手法

• FlakeScannerは、Androidの単一UIスレッドと非同期バックグラウンドスレッドをモデル化し、各テストイベントのイベントスケジューリングの上限を特定する。
• 非決定的になり得る各イベントについて、スレッド依存関係に基づき、その実行前に後で実行しなければならない最も早いイベントと、最も遅いイベントを計算する。
• これらの境界内でのイベント順序の体系的探索を実施し、同じ文からのイベントをグループ化することで状態空間を削減する。
• 動的分析を用いて、異なる実行環境をシミュレートし、どのイベント順序がテスト失敗を引き起こすかを検出する。
• Espressoテストフレームワークのイベントキューのセマンティクスを活用して、現実的なスレッドの入れ替えとイベントレースをモデル化する。
• 本手法は、FlakyAppRepoの作成によって補完される。FlakyAppRepoは、平均2.5kのGitHubスターを有する28の代表的なAndroidアプリから構成され、不確実テスト検出の評価に用いられる。

実験結果

リサーチクエスチョン

• RQ1 標準実行では通過するが、特定の実行順序では失敗する並行処理関連の不確実テストを、事前の検出アプローチが特定できるか？
• RQ2 既存の再実行ベースやカバレッジベースの手法と比較して、イベント順序の体系的探索は不確実テスト検出においてどれほど有効か？
• RQ3 実世界のAndroidアプリにおける不確実テストの発生頻度はどの程度か。特に、通過するが依然として不確実なテストはどれくらい存在するか？
• RQ4 正確なイベント依存関係モデル化は、不確実テスト検出における誤検出をどれほど低減できるか？
• RQ5 DeFlaker やイベントレース検出ツールと比較して、本手法の正確性とスケーラビリティはどの程度か？

主な発見

• FlakeScannerは、FlakyAppRepoスイートにおいて、以前に同定されていなかった245件の新しい不確実テストを検出できた。これは、隠れた不確実性を同定する能力を示している。
• 本ツールは、標準実行で通過するテストの中からも不確実テストを検出できた。これは、既存ツールが失敗テストのみを分析するのとは異なり、本手法が事前の検出能力を有することを証明している。
• 28の広く使われているAndroidアプリ（平均2.5kのGitHubスター）を含むFlakyAppRepoベンチマークスイートは、不確実テストを研究するための現実的で代表的なテストベッドを提供する。
• 研究は、並行処理と非同期待機が不確実テストの主な原因であることを確認した。これは、先行研究の経験的発見と一致する。
• 正確なイベント依存関係モデル化を用いたFlakeScannerの動的分析は、不完全な happens-before 関係に依存するアプローチと比較して、誤検出を低減した。
• 結果から、不確実テストは広範にわたる問題であることが示された。リグレッションテストにおける「通過→失敗」の遷移の84％が不確実テストに起因しており、事前の検出の必要性が強調される。