[論文レビュー] Large-Scale Manual Validation of Bug Fixing Commits: A Fine-grained Analysis of Tangling.

Steffen Herbold, Alexander Trautsch+46 more|arXiv (Cornell University)|Nov 12, 2020

Software Engineering Research参考文献 4被引用数 5

ひとこと要約

本研究では、バグ修正コミット内の4,000行以上の手動ラベリングをクラウドソーシングで実施し、17–32%のコード変更が直接バグを修正していることが明らかになった。生産コードではこの数値が66–87%に上昇する。研究では、深刻な混在（tangling）の存在が判明し、最大47%のデータがノイズを含む可能性があることが示され、実験的ソフトウェア工学研究において誤った結果を導くおそれがあるため、手動による検証の必要性が強調される。

ABSTRACT

Context: Tangled commits are changes to software that address multiple concerns at once. For researchers interested in bugs, tangled commits mean that they actually study not only bugs, but also other concerns irrelevant for the study of bugs. Objective: We want to improve our understanding of the prevalence of tangling and the types of changes that are tangled within bug fixing commits. Methods: We use a crowd sourcing approach for manual labeling to validate which changes contribute to bug fixes for each line in bug fixing commits. Each line is labeled by four participants. If at least three participants agree on the same label, we have consensus. Results: We estimate that between 17\% and 32\% of all changes in bug fixing commits modify the source code to fix the underlying problem. However, when we only consider changes to the production code files this ratio increases to 66\% to 87\%. We find that about 11\% of lines are hard to label leading to active disagreements between participants. Due to confirmed tangling and the uncertainty in our data, we estimate that 3\% to 47\% of data is noisy without manual untangling, depending on the use case. Conclusion: Tangled commits have a high prevalence in bug fixes and can lead to a large amount of noise in the data. Prior research indicates that this noise may alter results. As researchers, we should be skeptics and assume that unvalidated data is likely very noisy, until proven otherwise.

研究の動機と目的

• バグ修正コミットにおいて、複数の関心事項が一度に処理される混在（tangling）の真の頻度を理解すること。
• 報告されたバグの修正に関連するコード変更の割合が、関連のない関心事項の処理に起因するものであるかどうかを評価すること。
• バグ修正とラベル付けする際の不確実性と合意の欠如を定量化し、分類が難しいとされる行を特定すること。
• 自動コミット解析に依存する既存の実験的ソフトウェア工学研究において、混在が引き起こすノイズの程度を推定すること。
• 手動による検証を、実験的ソフトウェア工学研究におけるノイズ低減と信頼性向上のための必須ステップとして提唱すること。

提案手法

• バグ修正コミット内の各行を、4名の独立した参加者が「バグを修正する」「関連しない」「曖昧」のいずれかにラベル付けするクラウドソーシング手法を採用。
• コンセンサスラベリングを採用：少なくとも4名中3名が同じラベルに合意した場合に限り、その行は信頼できるラベルが付与されたとみなす。
• バグ修正に直接貢献する変更の割合を評価するために、生産コードファイル内の行に焦点を当てる。
• 参加者間で合意が得られない（意見が分かれる）行を「分類が難しい」として、ラベリングの不確実性を評価。
• 使用状況に応じて、混在のため誤分類される可能性のあるデータの割合を測定し、ノイズ推定値を算出。
• 統計的妥当性を確保するため、複数のオープンソースプロジェクトにまたがる4,000行以上のデータを分析。

実験結果

リサーチクエスチョン

• RQ1 手動ラベリングにより、バグ修正コミット内の変更のどの程度が報告されたバグを実際に修正しているか？
• RQ2 特に生産コードファイルにおいて、バグ修正コミットにどの程度混在（tangling）が見られるか？
• RQ3 バグ修正コミット内のどの程度の行が、曖昧さやラベラー間の合意の欠如により分類が難しいとされるか？
• RQ4 混在が実験的ソフトウェア工学データセットにどの程度ノイズをもたらすか、また使用状況によってその影響はどのように変化するか？
• RQ5 手動コンセンサスラベリングは、自動コミット解析に比べて、実際にバグ修正を特定するうえでどの程度信頼性が高いとされるか？

主な発見

• バグ修正コミット内のすべてのコード変更のうち、17%～32%が根本的なバグの修正に直接貢献している。
• 生産コードファイルに限定すると、バグ修正に寄与する変更の割合は著しく上昇し、66%～87%に達する。
• バグ修正コミット内の約11%の行が「分類が難しい」とされ、ラベラー間での合意が得られないことや、曖昧さの高さを示している。
• 確認された混在とラベリングの不確実性のため、一部の使用状況では最大47%のデータがノイズを含む可能性がある。保守的な下限は3%のノイズである。
• 本研究では、検証されていないコミットデータには混在のため、顕著なノイズが含まれている可能性が高く、過去の自動分析に依存する研究の妥当性が疑問視される。
• 結果として、実験的ソフトウェア工学研究において、誤った結論を導くおそれがある未検証のデータを避けるために、手動による検証が不可欠であることが強調される。