[논문 리뷰] How does Working from Home Affect Developer Productivity? -- A Case Study of Baidu During COVID-19 Pandemic

Lingfeng Bao, Tao Li외 4명|arXiv (Cornell University)|2020. 05. 27.

Technology Adoption and User Behaviour인용 수 29

한 줄 요약

이 연구는 코로나19 패an드믹 기간 동안 139명의 바이두 개발자가 138일 동안 기록한 일일 활동 로그를 활용하여 원격 근무(WFH)가 소프트웨어 개발자 생산성에 미치는 영향을 정량적으로 분석한다. 원격 근무는 코드 리뷰와 같은 일부 지표에선 긍정적인 영향을, 커밋과 빌드와 같은 다른 지표에선 부정적인 영향을 미치며, 이는 프로젝트 특성과 개인 개발자 행동에 따라 달라진다.

ABSTRACT

Nowadays, working from home (WFH) has become a popular work arrangement due to its many potential benefits for both companies and employees (e.g., increasing job satisfaction and retention of employees). Many previous studies have investigated the impact of working from home on the productivity of employees. However, most of these studies usually use a qualitative analysis method such as survey and interview, and the studied participants do not work from home for a long continuing time. Due to the outbreak of coronavirus disease 2019 (COVID-19), a large number of companies asked their employees to work from home, which provides us an opportunity to investigate whether working from home affects their productivity. In this study, to investigate the difference of developer productivity between working from home and working onsite, we conduct a quantitative analysis based on a dataset of developers' daily activities from Baidu Inc, one of the largest IT companies in China. In total, we collected approximately four thousand records of 139 developers' activities of 138 working days. Out of these records, 1,103 records are submitted when developers work from home due to COVID-19 pandemic. We find that WFH has both positive and negative impacts on developer productivity in terms of different metrics, e.g., the number of builds/commits/code reviews. We also notice that working from home has different impacts on projects with different characteristics including programming language, project type/age/size. For example, working from home has a negative impact on developer productivity for large projects. Additionally, we find that productivity varies for different developers. Based on these findings, we get some feedbacks from developers of Baidu and understand some reasons why WFH has different impacts on developer productivity.

연구 동기 및 목표

• 실제 활동 데이터를 활용하여 원격 근무가 소프트웨어 개발자 생산성에 장기적으로 미치는 영향을 조사한다.
• 크기, 연령, 유형, 프로그래밍 언어와 같은 프로젝트 특성 요소가 원격 근무의 생산성에 미치는 영향을 조절하는 방식을 규명한다.
• 원격 근무 조건에서 개인 간 생산성 차이를 이해한다.
• 기업과 개발자들이 원격 소프트웨어 개발을 관리하는 데 있어 데이터 기반의 통찰을 제공한다.

제안 방법

• 코로나19 패안드믹 기간 동안 139명의 바이두 개발자로부터 수집한 일일 소프트웨어 개발 활동 로그(예: 커밋, 빌드, 코드 리뷰)를 분석한다.
• 팬데믹 기간 동안 원격 근무(WFH)와 현장 근무 조건 간의 생산성 지표를 비교한다.
• 다양한 근무 방식 간 생산성의 집계 지표(평균, 중앙값)를 비교하기 위해 통계 분석을 사용한다.
• 프로그래밍 언어, 프로젝트 유형, 규모, 연령과 같은 프로젝트 수준의 특성이 생산성 결과에 미치는 영향을 분석한다.
• 바이두 개발자들과의 질적 피드백 세션을 실시하여 정량적 결과를 해석하고 잠재적 행동 요인을 규명한다.
• 정량적 지표와 개발자 피드백을 융합한 혼합 방법론을 사용하여 생산성 추세의 상이함을 설명한다.

실험 결과

연구 질문

• RQ1 원격 근무는 커밋, 빌드, 코드 리뷰와 같은 다양한 소프트웨어 개발 지표에서 개발자 생산성에 어떻게 영향을 미치는가?
• RQ2 크기, 연령, 유형, 프로그래밍 언어와 같은 프로젝트 수준의 특성이 원격 근무의 개발자 생산성에 미치는 영향을 어떻게 조절하는가?
• RQ3 개발자 간 개인적 차이가 원격 근무 시 생산성에 얼마나 큰 영향을 미치는가?
• RQ4 원격 근무 조건에서 관찰된 생산성 변동의 주된 인과적 요인은 무엇인가?

주요 결과

• 원격 근무는 하루 평균 수행하는 코드 리뷰 수에 긍정적 영향을 미쳐 원격 환경에서 협업 또는 리뷰 효율성이 향상되었음을 시사한다.
• WFH는 커밋 수와 빌드 수의 명백한 감소를 유도하여 일부 개발 워크플로우에서 생산성 저하 또는 작업 완료 감소를 나타낸다.
• 대규모 프로젝트에서는 원격 근무 시 개발자 생산성에 심각한 부정적 영향이 있었으며, 이는 협업 오버헤드 때문일 가능성이 높다.
• 개별 개발자 간 생산성에 상당한 변동이 있었으며, 일부는 원격 근무 시 생산량이 증가한 반면 다른 이들은 감소를 경험했다.
• 일부 프로그래밍 언어를 사용하는 프로젝트에서는 원격 근무의 영향이 더 두드러졌지만, 결과에서 특정 언어의 영향은 정량화되지 않았다.
• 개발자 피드백에 따르면, 커뮤니케이션 과제와 비공식적 상호작용 감소가 원격 환경에서의 생산성 저하 요인으로 작용했다.