[논문 리뷰] The Evolution of Code Review Research: A Systematic Mapping Study

Dong Wang, Yuki Ueda외 3명|arXiv (Cornell University)|2019. 11. 20.

Software Engineering Research인용 수 1

한 줄 요약

이 체계적 맵핑 연구는 최상위 학술 행사에서 발표된 148篇의 논문을 활용하여 지난 10년간 코드 리뷰(CR) 연구의 발전을 분석한다. 연구 결과, CR 연구는 품질 보증을 넘어서 데이터셋과 새로운 기술의 영향을 받아 새로운 분야로 확장되었으며, 시각화된 맵을 통해 용어와 방법론의 변화가 반영된 연구 추세가 드러났다.

ABSTRACT

Code Review (CR) is a cornerstone for Quality Assurance within development teams. Also known as software inspections and walk-throughs, traditional CR involved time-consuming processes, which is different from more lightweight contemporary forms used today. In this paper, we aim to summarize how CR research has evolved into its current state over the last decade. Our vigorous systematic study revolves around four research questions to uncover changes into the target of contributions and methodologies, replicability of existing studies and the evolution of CR terminology. From a collection of 7,266 papers from the top engineering venues, we generate visual maps for 148 collected papers including 53 conferences, 16 journals, and 79 snowball papers. Our visual maps provide evidence that CR research does cover more than quality assurance, and will continue to evolve with the availability of datasets and emerging technologies within the CR domain.

연구 동기 및 목표

• 지난 10년간 코드 리뷰 연구의 초점, 방법론, 용어 변화를 이해하기 위해
• 전통적인 품질 보증을 넘어서 소프트웨어 공학 응용 분야로 확장된 연구 기여의 변화를 식별하기 위해
• 기존 코드 리뷰 연구의 재현 가능성과 데이터셋이 재현 가능한 연구를 가능하게 하는 데서 수행하는 역할을 평가하기 위해
• 7,266편의 논문에서 유래한 시각적 표현을 활용해 CR 연구의 전반적 풍경을 맵핑하기 위해

제안 방법

• 최상위 소프트웨어 공학 학술 행사(컨퍼런스 및 저널 포함)에서 확보한 7,266편의 논문을 기반으로 체계적 맵핑 연구를 수행하였다.
• 스노우볼링 과정을 통해 논문를 걸러내고 분석하여 최종적으로 148편의 고품질 논문을 심층 분석 대상으로 선정하였다.
• 연구 주제의 분포, 방법론, 용어 변화의 시간적 흐름을 표현하기 위해 시각적 맵을 생성하였다.
• 연구의 추세, 기여, 방법론적 변화 분석을 유도하기 위해 4개의 연구 질문을 설정하였다.
• 출판 장소, 출판 연도, 주제 분류 기준과 같은 구조화된 기준에 기반해 데이터 수집 및 분석을 수행하였다.
• 맵핑 과정에서는 반복적인 주제, 용어 변화, 데이터셋이 재현 가능성 및 새로운 연구 방향을 가능하게 하는 데서의 역할을 식별하였다.

실험 결과

연구 질문

• RQ1 지난 10년간 코드 리뷰 연구의 초점은 연구 주제와 기여 측면에서 어떻게 변화해 왔는가?
• RQ2 코드 리뷰 연구에서 지배적인 방법론은 무엇이며, 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ3 기존 코드 리뷰 연구의 재현 가능성은 어느 정도이며, 데이터셋은 재현 가능성을 가능하게 하는 데서 어떤 역할을 하는가?
• RQ4 코드 리뷰 연구에서 사용되는 용어는 어떻게 변화해 왔으며, 이는 분야의 개념적 발전을 어떻게 반영하는가?

주요 결과

• 코드 리뷰 연구는 품질 보증을 넘어서 개발자 생산성, 도구 개발, 프로세스 최적화 등 다양한 분야로 확장되었다.
• 데이터셋의 사용은 코드 리뷰 연구에서 재현 가능하고 데이터 기반의 연구를 가능하게 하는 데 점점 더 중심적인 역할을 하고 있다.
• 방법론 측면에서 뚜렷한 변화가 관찰되며, 이전의 질적 또는 사례 기반 연구에 비해 더 많은 연구에서 경험적이고 정량적 접근이 채택되고 있다.
• 코드 리뷰 연구의 용어는 변화했으며, 이는 더 넓은 개념적 이동과 함께 AI 및 머신러닝과 같은 새로운 기술의 통합을 반영하고 있다.
• 연구 풍경의 시각적 맵은 자동화된 코드 리뷰 도구 및 CI 파이프라인에 코드 리뷰를 통합하는 데 대한 관심이 증가하고 있음을 보여준다.
• 본 연구는 코드 리뷰를 단순한 품질 점검이 아니라 협업적이고 학습적 과정으로 간주하는 연구가 점점 더 많아지고 있음을 밝혀냈다.