[論文レビュー] Neural Network Embeddings for Test Case Prioritization

João Lousada, Miguel Ribeiro|arXiv (Cornell University)|Dec 18, 2020

Software Testing and Debugging Techniques参考文献 16被引用数 6

ひとこと要約

本稿では、歴史的コード変更およびテスト遷移データからファイル-テストケース関係を学習することで、テストケースの優先順位を付けるためのディーブラーニングフレームワークNNE-TCPを提案する。故障検出速度においてランダム法や遷移ベース法を上回り、類似したファイルやテストの可視的クラスタリングを可能にすることで、重複削減が可能となる。

ABSTRACT

In modern software engineering, Continuous Integration (CI) has become an indispensable step towards systematically managing the life cycles of software development. Large companies struggle with keeping the pipeline updated and operational, in useful time, due to the large amount of changes and addition of features, that build on top of each other and have several developers, working on different platforms. Associated with such software changes, there is always a strong component of Testing. As teams and projects grow, exhaustive testing quickly becomes inhibitive, becoming adamant to select the most relevant test cases earlier, without compromising software quality. We have developed a new tool called Neural Network Embeeding for Test Case Prioritization (NNE-TCP) is a novel Machine-Learning (ML) framework that analyses which files were modified when there was a test status transition and learns relationships between these files and tests by mapping them into multidimensional vectors and grouping them by similarity. When new changes are made, tests that are more likely to be linked to the files modified are prioritized, reducing the resources needed to find newly introduced faults. Furthermore, NNE-TCP enables entity visualization in low-dimensional space, allowing for other manners of grouping files and tests by similarity and to reduce redundancies. By applying NNE-TCP, we show for the first time that the connection between modified files and tests is relevant and competitive relative to other traditional methods.

研究の動機と目的

• 継続的インテグレーションパイプラインにおける回帰テストの徹底的実行によるフィードバック遅延という課題に対処すること。
• 歴史的データからファイル-テストケース関係を学習することで、テストケースの優先順位を自動化すること。
• コード変更後の故障確率が最も高いテストを予測することで、フィードバック時間とリソース使用量を削減すること。
• 意味的類似性に基づいてファイルおよびテストの可視的クラスタリングを可能にし、テスト最小化を実現すること。
• 手動またはヒューリスティックベースのテスト優先順位付けに対するデータ駆動型でスケーラブルな代替手法を確立すること。

提案手法

• フレームワークは、バージョン管理およびテストログからの歴史的コミットおよびテスト遷移データに基づき、ファイルとテストケースを共有の低次元ベクトル空間にマップするニューラルネットワーク埋め込みを用いる。
• バージョン管理およびテストログから、変更されたファイルとテストケースのステータス遷移（失敗または進行）の関係を学習する。
• 新しいコードコミット後のファイル変更に基づき、どのテストを実行するかが最も関連しているかを予測するようにモデルを訓練する。
• t-SNEを用いて埋め込みベクトルを2次元空間に可視化し、構造的パターンを明らかにし、類似したファイル/テストをグループ化する。
• 類似したテストクラスタを特定することで、テストケースの最小化を支援する。
• フレームワークの評価には、主な指標としてAPTD（平均テストケース検出率）が用いられる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワーク埋め込みは、歴史的ソフトウェア変更データからファイル-テストケース関係を効果的に学習できるか？
• RQ2 NNE-TCPのパフォーマンスは、ランダム法や遷移ベース法といった従来のテストケース優先順位付け手法と比べてどうか？
• RQ3 学習された埋め込みは、コードおよびテストベースにおける意味的な構造的パターンを明らかにできるか？
• RQ4 埋め込みベースのクラスタリングは、カバレッジを損なわずにどの程度テストの重複を削減できるか？
• RQ5 モデルは異なるソフトウェアプロジェクトおよびCI環境に一般化可能か？

主な発見

• APTDの観点から、NNE-TCPはランダム法および遷移ベース法を著しく上回っており、故障検出が高速であることが示された。
• モデルは、埋め込み空間において類似したファイルおよびテストケースを効果的にグループ化しており、潜在的な重複を明らかにした。
• 可視化結果から、フォルダ構造と意味的類似性の間に明確な相関関係は認められず、ファイルシステムの構造よりも埋め込みベースのグループ化がより意味的であることが示唆された。
• フレームワークは、カバレッジを維持したまま効果的なテストケースクラスタリングを可能にし、テストスイートの最小化に寄与した。
• 強力なパフォーマンスを示したが、より複雑なヒストリーベース手法を上回ることはできず、特徴の強化によってさらなる改善の余地があることが示された。
• 深層学習によるファイル-テストリンクの学習が実現可能で、競争力のある新たな基準としての可能性を示した。