[論文レビュー] Domain Adaptation for Code Model-based Unit Test Case Generation

Jiho Shin, Sepehr Hashtroudi+2 more|arXiv (Cornell University)|Aug 15, 2023

Software Engineering Research被引用数 9

ひとこと要約

論文は CodeT5 のプロジェクトレベルのドメイン適応を用いて Def defects4j プロジェクト向けのコンパイル可能なユニットテストを生成し、行カバレッジ、BLEU/CodeBLEU、EvoSuite との互換性が向上することを示している。

ABSTRACT

Recently, deep learning-based test case generation approaches have been proposed to automate the generation of unit test cases. In this study, we leverage Transformer-based code models to generate unit tests with the help of Domain Adaptation (DA) at a project level. Specifically, we use CodeT5, a relatively small language model trained on source code data, and fine-tune it on the test generation task. Then, we apply domain adaptation to each target project data to learn project-specific knowledge (project-level DA). We use the Methods2test dataset to fine-tune CodeT5 for the test generation task and the Defects4j dataset for project-level domain adaptation and evaluation. We compare our approach with (a) CodeT5 fine-tuned on the test generation without DA, (b) the A3Test tool, and (c) GPT-4 on five projects from the Defects4j dataset. The results show that tests generated using DA can increase the line coverage by 18.62%, 19.88%, and 18.02% and mutation score by 16.45%, 16.01%, and 12.99% compared to the above (a), (b), and (c) baselines, respectively. The overall results show consistent improvements in metrics such as parse rate, compile rate, BLEU, and CodeBLEU. In addition, we show that our approach can be seen as a complementary solution alongside existing search-based test generation tools such as EvoSuite, to increase the overall coverage and mutation scores with an average of 34.42% and 6.8%, for line coverage and mutation score, respectively.

研究の動機と目的

• ニューラル単体テスト生成における頑健性とドメインシフトへ対処する。
• テスト生成のために事前学習済みコードモデルを適応させるべくプロジェクト固有データを活用する。
• ベースライン（GPT-4, A3Test）および探索ベースツール（EvoSuite）と比較評価する。
• 行カバレッジやミューテーションスコアなどの実実行指標を用いて改善を示す。

提案手法

• Methods2test データセットを用いたテスト生成の下流タスクで CodeT5 をファインチューニングする。
• 行をカバーするテストにマッピングしてプロジェクト固有のデータセットを生成し、各行について3つの文脈を抽出する。
• プロジェクト固有データセットでさらに学習させてプロジェクトレベルのドメイン適応を適用する。
• tree-sitter ベースのパーサを用いたポスト処理でコンパイル可能性を保証する。
• 生成したテストを実行して行カバレッジとミューテーションスコアを測定し、BLEU/CodeBLEU 指標も評価する。

実験結果

リサーチクエスチョン

• RQ1 RQ1: Transformer ベースのコードモデルは、かなりの行カバレッジを伴う高品質なコンパイル可能なテストケースを生成できるか？
• RQ2 RQ2: 自動生成テストのコードカバレッジ向上において、プロジェクトレベルのドメイン適応はどの程度効果的か？
• RQ3 RQ3: 提案手法は EvoSuite のような探索ベースのテスト生成ツールを補完・強化できるか？

主な発見

• ドメイン適応は、DAなしの CodeT5 と比較して平均で 18.62%、A3Test と比較して 19.88%、GPT-4 ベースラインと比較して 18.02% の行カバレッジ向上をもたらす。
• 本手法は BLEU および CodeBLEU スコアの改善をもたらし、EvoSuite を補完して全体のカバレッジとミューテーションスコアを向上させる。
• ドメイン適応済みのテスト生成を EvoSuite と併用すると、平均で line coverage が 34.42%、mutation score が 6.8% 向上する。
• 評価には NLP ベースの指標だけでなく、実際のテスト実行指標（行カバレッジとミューテーションテスト）を用いる。