[論文レビュー] Efficient Mutation Testing via Pre-Trained Language Models

Ahmed Khanfir, Renzo Degiovanni+2 more|arXiv (Cornell University)|Jan 9, 2023

Software Testing and Debugging Techniques被引用数 5

ひとこと要約

本稿では、コードBertという事前学習済みコード言語モデルを用いて、文脈的予測に基づきトークンをマスクして置換することで、開発者に似た自然な変種を生成する、$μ$ Bertという変種テスト手法を提案する。689件のDefects4Jバグを対象に評価した結果、$μ$ BertはPiTestを上回り、最大17%多く欠陥を特定することができ、高い欠陥検出能力とコスト効率を示した。また、より現実的な変種を生成した。

ABSTRACT

Mutation testing is an established fault-based testing technique. It operates by seeding faults into the programs under test and asking developers to write tests that reveal these faults. These tests have the potential to reveal a large number of faults -- those that couple with the seeded ones -- and thus are deemed important. To this end, mutation testing should seed faults that are both "natural" in a sense easily understood by developers and strong (have high chances to reveal faults). To achieve this we propose using pre-trained generative language models (i.e. CodeBERT) that have the ability to produce developer-like code that operates similarly, but not exactly, as the target code. This means that the models have the ability to seed natural faults, thereby offering opportunities to perform mutation testing. We realise this idea by implementing $μ$BERT, a mutation testing technique that performs mutation testing using CodeBert and empirically evaluated it using 689 faulty program versions. Our results show that the fault revelation ability of $μ$BERT is higher than that of a state-of-the-art mutation testing (PiTest), yielding tests that have up to 17% higher fault detection potential than that of PiTest. Moreover, we observe that $μ$BERT can complement PiTest, being able to detect 47 bugs missed by PiTest, while at the same time, PiTest can find 13 bugs missed by $μ$BERT.

研究の動機と目的

• 従来の変種テストでは、厳密な文法的ルールに従うため、不自然または自明な変種が生成されるという限界に対処する。
• 実際のプログラミングパターンや慣習を反映する変種を生成することで、欠陥検出の有効性を向上させる。
• 文法ルールや欠陥に関する知識を必要とせず、CodeBERTのような事前学習済み言語モデルを活用して、文脈的に適切な人間らしいコード変種を生成する。
• 実世界のバグを対象に評価することで、PiTestなどの最先端ツールと比較して、本手法の有効性とコスト効率を評価する。
• 特に条件の種まき（condition-seeding）を含む付加的変種が、欠陥検出能力に与える影響を調査する。

提案手法

• コードBertのマスク言語モデル（MLM）機能を活用し、コード内のトークンをマスクした上で、文脈的予測に基づき妥当なトークン置換を予測し、文脈的に適切な変種を生成する。
• プログラム文の各トークンに対して反復処理を行い、マスクした上で、CodeBERTの上位予測を用いて複数の候補置換を生成する。
• コンパイル不能、重複、構文的に同等の変種を除外するフィルタリングを適用し、有効で多様な変種を保証する。
• 制御フローオペレータを拡張することで付加的変種を導入する（例：`||` や `&&` などの論理条件の追加）し、再マスクしてCodeBERTに式の完成を処理させる。
• 直接的なトークン置換変種と条件の種まき変種を組み合わせることで、複雑な欠陥パターンをカバーする多様な変種を増加させる。
• 生成された変種を用いてテストスイートの生成を支援し、これらの変種を殺すテストが実際に何個の欠陥を特定できるかを測定する。

Figure 1 : $\mu$ Bert Workflow: (1) it parses the Java code given as input, and extracts the expressions to mutate; (2) it creates simple-replacement mutants by masking the tokens of interest and invoking CodeBERT; (3) it generates the mutants by replacing the masked token with CodeBERT predictions;

実験結果

リサーチクエスチョン

• RQ1 事前学習済み言語モデルは、従来の文法的変種生成オペレータと比較して、より自然で効果的な変種を生成できるか？
• RQ2 異なる設定（DEFAULT, ALL, RV）において、$μ$ Bertの欠陥検出能力はPiTestと比べてどの程度か？
• RQ3 特に条件の種まきを含む付加的変種は、単純なトークン置換を超えて、欠陥検出能力をどの程度向上させるか？
• RQ4 生成された変種の数あたりの欠陥検出効率を測定した場合、$μ$ BertはPiTestに比べてどの程度コスト効率が良いか？
• RQ5 変種の多様性と可読性が、実世界のバグ検出におけるテスト効果に与える影響は何か？

主な発見

• 平均して、$μ$ BertはDefects4Jの689件の実バグの84%を特定しており、強力な欠陥検出能力を示している。
• $μ$ Bertは、PiTestの3つの設定（DEFAULT, ALL, RV）をすべて上回り、$μ$ Bertの変種を殺すテストスイートは、5.5%から33%多く実際の欠陥を検出している。
• 同じ数の変種を比較した場合でも、$μ$ BertはPiTestよりも6%から16%多く欠陥を検出するテストスイートを誘導している。
• 直接的なCodeBERT予測と条件の種まき変種の組み合わせは、直接予測のみの場合と比較して、9%以上多くのバグを検出している。
• $μ$ BertはPiTestが見逃した47件のバグを検出している一方、PiTestは$μ$ Bertが見逃した13件のバグを検出しており、相補的な強みを示している。
• 本手法はコスト効率が高く、文法ルールや欠陥固有の知識を一切必要とせず、事前学習で得たコードの分布に依存するのみである。