[論文レビュー] "Won't We Fix this Issue?" Qualitative Characterization and Automated Identification of Wontfix Issues on GitHub

Andrea Di Sorbo, Gerardo Canfora+1 more|arXiv (Cornell University)|Apr 4, 2019

Software Engineering Research参考文献 81被引用数 8

ひとこと要約

本稿は、報告されたにもかかわらず開発者によって却下された「wontfix」問題—GitHubにおける問題—を、667件の問題について定性的分析および自然言語処理（NLP）を用いた自動予測を通じて調査する。本研究では、問題のタイトルと記述に基づき、機械学習モデルを提案し、予測の正確性（正確率、再現率、F1スコア）が90–93％に達することを示した。これは、手動でのトライアージに要する時間を顕著に削減する。

ABSTRACT

Context: Addressing user requests in the form of bug reports and Github issues represents a crucial task of any successful software project. However, user-submitted issue reports tend to widely differ in their quality, and developers spend a considerable amount of time handling them. Objective: By collecting a dataset of around 6,000 issues of 279 GitHub projects, we observe that developers take significant time (i.e., about five months, on average) before labeling an issue as a wontfix. For this reason, in this paper, we empirically investigate the nature of wontfix issues and methods to facilitate issue management process. Method: We first manually analyze a sample of 667 wontfix issues, extracted from heterogeneous projects, investigating the common reasons behind a "wontfix decision", the main characteristics of wontfix issues and the potential factors that could be connected with the time to close them. Furthermore, we experiment with approaches enabling the prediction of wontfix issues by analyzing the titles and descriptions of reported issues when submitted. Results and conclusion: Our investigation sheds some light on the wontfix issues' characteristics, as well as the potential factors that may affect the time required to make a "wontfix decision". Our results also demonstrate that it is possible to perform prediction of wontfix issues with high average values of precision, recall, and F-measure (90%-93%).

研究の動機と目的

• GitHubの問題におけるwontfix意思決定の理由を理解し、それらが解決を遅らせ、開発者の時間を消費する要因となること。
• wontfix問題の閉じるまでの時間に影響を与える共通の特徴や要因を特定する。平均して5か月程度かかる。
• wontfixとマークされるかどうかを、提出時刻に予測する自動化手法を開発・評価する。
• トライアージ段階で潜在的価値が低い問題を早期に特定することで、開発者の負担を軽減する。

提案手法

• wontfix問題のパターンを調査する目的で、279件のGitHubプロジェクトから約6,000件の問題を収集したデータセットを構築した。
• 多様なプロジェクトにまたがる667件のwontfix問題について、手動による定性的分析を実施し、拒否の共通の理由を同定した。
• 自然言語処理（NLP）技術を用いて、問題のタイトルと記述から特徴量を抽出し、機械学習モデルの学習に使用した。
• 標準的な指標（正確率、再現率、F1スコア）を用いて、分類モデルの性能を評価した。
• 初期予測に焦点を当て、問題が提出された時点でのwontfixステータスを、テキストコンテンツのみを用いて予測することを目的とした。
• 一般化性能を向上させるために、語彙的・構文的・意味的特徴の組み合わせを用いた。

実験結果

リサーチクエスチョン

• RQ1 開発者が問題をwontfixとラベル付けする主な理由は何であり、プロジェクト間でその理由はどのように異なるか？
• RQ2 wontfixステータスに至るまでの意思決定までの時間に影響を与える、問題レポートの特徴は何か？
• RQ3 問題のテキスト的コンテンツ（タイトルと説明）は、最終的なwontfix分類をどの程度正確に予測できるか？
• RQ4 異なる機械学習モデルは、初期の問題メタデータのみを用いてwontfix問題を予測する際に、どの程度の性能を示すか？
• RQ5 wontfix問題の早期予測は、オープンソースプロジェクトにおける問題トライアージに要する時間と労力の削減に寄与するか？

主な発見

• 開発者が問題をwontfixとラベル付けするまでに平均して約5か月を要しており、意思決定の遅れが顕著である。
• wontfix意思決定の主な理由として「範囲外」、「バグではない」、「修正しない」、「重複」が最も多く、プロジェクト間で差異がある。
• 本研究では、機械学習モデルがwontfixステータスを高い正確性で予測できることを示した。F1スコアは90％から93％の間で達成された。
• 問題のタイトルと記述の自然言語的特徴が、将来的なwontfixステータスの予測に強く関連している。
• モデルの性能は多様なGitHubプロジェクトにわたり安定しており、他のオープンソースエコシステムへの一般化可能性が示唆された。
• wontfix問題の早期予測により、自動トライアージや潜在的価値が低いレポートのフィルタリングを可能にし、開発者の負担を顕著に軽減できる。