[論文レビュー] MAT: A simple yet strong baseline for identifying self-admitted technical debt

Zhaoqiang Guo, Shiran Liu+6 more|arXiv (Cornell University)|Oct 29, 2019

Software Engineering Research参考文献 62被引用数 7

ひとこと要約

本論文では、コードコメント内の4つの一般的なタスクタグ—TODO、FIXME、XXX、HACK—を検出することで、自己申告型技術的負債（SATD）を特定するシンプルな教師なしベースライン、MATを提案する。学習データを必要とせず、10のオープンソースプロジェクトにおいて最先端の性能を達成しており、この最小限のアプローチが、複雑な既存の手法を上回ることを示している。今後のSATD研究において、MATは標準的なベースラインとして用いられるべきである。

ABSTRACT

In the process of software evolution, developers often sacrifice the long-term code quality to satisfy the short-term goals due to specific reasons, which is called technical debt. In particular, self-admitted technical debt (SATD) refers to those that were intentionally introduced and remarked by code comments. Those technical debts reduce the quality of software and increase the cost of subsequent software maintenance. Therefore, it is necessary to find out and resolve these debts in time. Recently, many approaches have been proposed to identify SATD. However, those approaches either have a low accuracy or are complex to implementation in practice. In this paper, we propose a simple unsupervised baseline approach that fuzzily matches task annotation tags (MAT) to identify SATD. MAT does not need any training data to build a prediction model. Instead, MAT only examines whether any of four task tags (i.e. TODO, FIXME, XXX, and HACK) appears in the comments of a target project to identify SATD. In this sense, MAT is a natural baseline approach, which has a good understandability, in SATD identification. In order to evaluate the usefulness of MAT, we use 10 open-source projects to conduct the experiment. The experimental results reveal that MAT has a surprisingly excellent performance for SATD identification compared with the state-of-the-art approaches. As such, we suggest that, in the future SATD identification studies, MAT should be considered as an easy-to-implement baseline to which any new approach should be compared against to demonstrate its usefulness.

研究の動機と目的

• 進化するソフトウェアシステムにおける自己申告型技術的負債（SATD）を特定する課題に対処すること。
• 学習データや複雑なモデルを必要としない軽量で教師なしのベースラインを提案すること。
• より複雑な最先端のアプローチと比較して、単純なタグベース検出の有効性を評価すること。
• MATを今後のSATD特定研究における実用的で解釈可能なベースラインとして確立すること。

提案手法

• MATは、コードコメントにTODO、FIXME、XXX、HACKの4つの特定タグが含まれるかをスキャンすることでSATDを検出する。
• このアプローチは教師なしであり、ラベル付き学習データやモデルの学習を必要としない。
• 4つのタグのいずれかを含むコメントは、潜在的なSATDを示すと分類される。
• この手法は、これらのタグのファジー一致にのみ依存しており、解釈可能で実装が容易である。
• SATD検出の精度、再現率、F1スコアを評価するために、10のオープンソースプロジェクトを用いて評価を行う。

実験結果

リサーチクエスチョン

• RQ1 タスクタグ検出に基づくシンプルで教師なしのアプローチは、SATDの特定においてどれほど有効であるか？
• RQ2 MATは、既存の最先端のアプローチをSATD特定において上回るか？
• RQ3 MATは、今後のSATD検出研究における信頼性があり実用的なベースラインとして機能できるか？
• RQ4 MATの精度、再現率、F1スコアは、多様なオープンソースプロジェクトにおいてどの程度の性能を示すか？

主な発見

• MATは、学習データを一切必要とせず、10のオープンソースプロジェクトにおいてSATD特定で最先端の性能を達成した。
• このアプローチは高い精度と再現率を示し、より複雑な教師ありおよび半教師あり手法を上回った。
• MATのシンプルさと解釈可能性から、今後のSATD研究における標準ベースラインとしての採用にふさわしい。
• 結果から、この文脈において、基本的なタグベースのヒューリスティクスが洗練された機械学習モデルよりも効果的である可能性が示された。
• 本研究では、4つのタスクタグ（TODO、FIXME、XXX、HACK）が実世界のコードベースにおいて自己申告型技術的負債の強力な指標であることが確認された。