[論文レビュー] Exploring Research Interest in Stack Overflow -- A Systematic Mapping Study and Quality Evaluation

Sarah Meldrum, Sherlock A. Licorish+1 more|arXiv (Cornell University)|Oct 23, 2020

Software Engineering Research参考文献 63被引用数 6

ひとこと要約

本研究は、Stack Overflowに関する265篇の学術論文を分析し、研究関心、トピック、研究手法、貢献、品質の程度を評価する。研究の結果、Stack Overflowに対する学術的関心は増加傾向にあり、特にコミュニティのダイナミクスや技術的課題に注目が集まっているが、品質基準の平均で58%しか満たされていないことから、今後の研究においてより良い検証手法の導入が求められることが示された。

ABSTRACT

Platforms such as Stack Overflow are available for software practitioners to solicit solutions to their challenges and knowledge needs. The practices therein have in recent times however triggered quality related concerns. This is a noteworthy issue when considering that the Stack Overflow platform is used by numerous software developers. Academic research tends to provide validation for the practices and processes employed by Stack Overflow and other such forums. However, previous work did not review the scale of scientific attention that is given to this cause. Continuing from our preliminary work, we conducted a Systematic Mapping study involving 265 papers from six relevant databases to address this gap. In this work, we explored the level of academic interest Stack Overflow has generated, the publication venues that are targeted, the topics that are studied, approaches used, types of contributions and the quality of the publications that are written about Stack Overflow. Outcomes show that Stack Overflow has attracted increasing research interest over the years, with topics relating to both community dynamics and human factors, and technical issues. In addition, research studies have been largely evaluative or proposed solutions; however, the latter approach tends to lack validation. The contributions of these studies are often techniques or answers to a specific problem. Evaluating the quality of all studies that were dedicated to software programming (58 papers), our outcomes show that on average only 58% of the developed quality criteria were met. Notwithstanding that research is continually aiming to understand Stack Overflow and other similar communities, further investigations are required to validate such studies and the solutions they propose.

研究の動機と目的

• 最近の出版物において、Stack Overflowが研究対象としてどの程度の学術的関心を獲得しているかを調査すること。
• Stack Overflowに関する研究で用いられている主な出版機関、研究トピック、および研究手法のアプローチを特定すること。
• 特にStack Overflowに焦点を当てたソフトウェアプログラミングコミュニティを対象とした研究の品質を評価すること。
• 文献に提案された解決策がどの程度、経験的検証を受けているかを評価すること。
• 現在の研究におけるギャップを特定し、今後の検証を重視した研究の方向性を提言すること。

提案手法

• Stack Overflowに関する関連論文を同定するために、6つの主要な学術データベースを用いた系統的マッピング研究を実施した。
• 事前に定めた含む・含まない基準を適用し、265篇の論文を関連性と品質の観点からスクリーニングした。
• 研究トピック、出版機関、研究手法、貢献の種別に基づいて研究を分類した。
• 標準化された15の品質基準を用いて、ソフトウェアプログラミングに特化した58篇の論文の品質を評価した。
• 評価された研究において、品質基準の平均達成割合を算出した。
• 主題的分析を用いて、文献に共通する研究テーマや研究手法のトレンドを同定した。

実験結果

リサーチクエスチョン

• RQ1 Stack Overflowに対する学術的関心は時間経過とともにどのように変化しており、どの出版機関が最も頻繁に使用されているか？
• RQ2 Stack Overflowに関連して研究対象とされている支配的な研究トピックやテーマは何か？
• RQ3 Stack Overflowに関する研究で最も一般的に用いられている研究手法は何か。また、解決策はどのように評価されているか？
• RQ4 文献に提案された解決策がどの程度、経験的検証を受けているか？
• RQ5 Stack Overflowに関する研究の品質指標は、確立された研究品質基準と比較してどの程度か？

主な発見

• Stack Overflowに対する研究関心は時間の経過とともに著しく増加しており、複数の出版機関で論文発表数が増加している。
• 最も一般的な研究トピックは、コミュニティのダイナミクス、人的要因、ソフトウェア開発における技術的課題である。
• 大多数の研究が評価的または解決策を提案するものであるが、評価された58篇の論文においては、品質基準の平均で58%しか満たされていない。
• 提案された解決策の多くが経験的検証を欠いており、きめ細やかな評価手法のギャップが示唆される。
• 貢献は通常、特定の技術的アプローチや問題特化型の回答に限られており、一般化可能性や長期的検証が不足している。
• 注目が高まっているにもかかわらず、文献にはStack Overflowや類似プラットフォームに関するより方法論的に洗練され、経験的検証がしっかりとした研究が不足していることが明らかになった。