[論文レビュー] The Evolution of Code Review Research: A Systematic Mapping Study

Dong Wang, Yuki Ueda+3 more|arXiv (Cornell University)|Nov 20, 2019

Software Engineering Research被引用数 1

ひとこと要約

本系統的マッピング研究では、トップの会議やジャーナルから選ばれた148篇の論文を用いて、過去10年間におけるコードレビュー（CR）研究の進化を分析した。CR研究は品質保証を越えて、データセットや新技術の影響を受けて新たな分野に拡大しており、視覚的なマップを通じて、用語や研究手法の変化が明らかになった。

ABSTRACT

Code Review (CR) is a cornerstone for Quality Assurance within development teams. Also known as software inspections and walk-throughs, traditional CR involved time-consuming processes, which is different from more lightweight contemporary forms used today. In this paper, we aim to summarize how CR research has evolved into its current state over the last decade. Our vigorous systematic study revolves around four research questions to uncover changes into the target of contributions and methodologies, replicability of existing studies and the evolution of CR terminology. From a collection of 7,266 papers from the top engineering venues, we generate visual maps for 148 collected papers including 53 conferences, 16 journals, and 79 snowball papers. Our visual maps provide evidence that CR research does cover more than quality assurance, and will continue to evolve with the availability of datasets and emerging technologies within the CR domain.

研究の動機と目的

• 過去10年間におけるコードレビュー研究の焦点、研究手法、用語の進化を理解すること。
• 伝統的な品質保証を越えて、ソフトウェア工学分野の広範な応用分野へと研究の貢献がシフトしていることを特定すること。
• 既存のコードレビュー研究の再現可能性を評価し、再現可能な研究を可能にするデータセットの役割を検証すること。
• 7,266篇の論文から得た視覚的表現を用いて、CR研究の全体像をマッピングすること。その中から148篇を詳細分析対象とした。

提案手法

• トップのソフトウェア工学の会議やジャーナルから抽出した7,266篇の論文を用いて、系統的マッピング研究を実施した。
• スノーボール方式によるフィルタリングと分析を経て、148篇の高品質な論文を詳細レビュー対象とした。
• 研究トピック、研究手法、用語の変遷の時間的分布を表す視覚的マップを生成した。
• 研究の傾向、貢献、研究手法の変化を分析するため、4つの研究問いを設定した。
• 出版会議・ジャーナル、出版年、テーマ別分類などの構造的基準に基づいてデータ収集と分析を実施した。
• マッピングプロセスでは、繰り返し現れるテーマ、用語の変化、データセットが再現性や新たな研究分野の創出に果たす役割を特定した。

実験結果

リサーチクエスチョン

• RQ1 コードレビュー研究の焦点は、過去10年間で研究トピックや貢献の観点からどのように変化したか？
• RQ2 コードレビュー研究で一般的に使われている研究手法は何か？ また、時間の経過とともにその手法はどのように変化したか？
• RQ3 既存のコードレビュー研究はどの程度再現可能か？ また、データセットは再現性を可能にする上で果たす役割は何か？
• RQ4 コードレビュー研究で使われる用語はどのように進化したのか？ これにより、分野の概念的発展はどのように示唆されるか？

主な発見

• コードレビュー研究は、品質保証を越えて、開発者生産性、ツール開発、プロセス最適化といった分野へ拡大している。
• データセットの使用は、再現可能でデータドリブンな研究を可能にするために、ますます中心的役割を果たしている。
• 研究手法に顕著なシフトが見られ、初期の定性的または事例中心の研究手法に比べ、より多くの研究が実証的・定量的アプローチを採用している。
• コードレビュー研究における用語の進化は、より広範な概念的シフトを反映しており、人工知能（AI）や機械学習といった新技術の統合を示している。
• 研究の全体像を示す視覚的マップからは、自動化されたコードレビューツールや、CIパイプラインへのCR統合に関する関心の高まりが明らかになった。
• 本研究では、コードレビューが単なる品質チェックではなく、協働的かつ学習プロセスとして捉えられる研究が増加していることが明らかになった。