[논문 리뷰] GitHub Discussions: An Exploratory Study of Early Adoption

Hideaki Hata, Nicole Novielli외 3명|arXiv (Cornell University)|2021. 02. 10.

Software Engineering Research참고 문헌 23인용 수 12

한 줄 요약

이 혼합 방법 연구는 2020년 1월~7월 기간 동안의 폐쇄형 베타 단계 동안 92개의 오픈소스 프로젝트에서 GitHub Discussions의 초기 도입을 조사한다. 7,116개의 토론에 대한 정량적 분석, 설문 조사, 정서 분석을 통해 저자들은 개발자들이 오류 보고, 코드 리뷰, 커뮤니티 참여를 위해 Discussions를 사용하며, 핵심 기여자들이 참여를 이끄는 것으로 밝혀냈다. 이 기능은가치 있는 것으로 평가되지만, Discussions와 Issues 간의 주제 중복 문제와 스택 오버플로우 게시물보다 더 긍정적인 정서를 보이는 점에서 도전 과제를 겪고 있다.

ABSTRACT

Discussions is a new feature of GitHub for asking questions or discussing topics outside of specific Issues or Pull Requests. Before being available to all projects in December 2020, it had been tested on selected open source software projects. To understand how developers use this novel feature, how they perceive it, and how it impacts the development processes, we conducted a mixed-methods study based on early adopters of GitHub discussions from January until July 2020. We found that: (1) errors, unexpected behavior, and code reviews are prevalent discussion categories; (2) there is a positive relationship between project member involvement and discussion frequency; (3) developers consider GitHub Discussions useful but face the problem of topic duplication between Discussions and Issues; (4) Discussions play a crucial role in advancing the development of projects; and (5) positive sentiment in Discussions is more frequent than in Stack Overflow posts. Our findings are a first step towards data-informed guidance for using GitHub Discussions, opening up avenues for future work on this novel communication channel.

연구 동기 및 목표

• GitHub Discussions의 초기 도입자들이 실제 어떻게 기능을 사용하는지 이해하고, 기존의 커뮤니케이션 채널(예: Issues 및 스택 오버플로우)과 비교하여 분석한다.
• 개발자들이 GitHub Discussions의 유용성에 대해 어떻게 평가하는지 조사하고, 채널 혼동 및 주제 중복과 같은 도입 과제를 특정한다.
• Discussions가 소프트웨어 개발 프로세스에 끼치는 영향을 분석하며, Issues 및 풀 리퀘스트와의 상호작용을 포함한다.
• GitHub Discussions와 스택 오버플로우 스레드 간의 정서 및 폭력성 수준을 비교하여 커뮤니티 건강 상태를 평가한다.
• 프로젝트 매니저가 효과적인 GitHub Discussions 사용을 이끌기 위한 데이터 기반 권고 사항을 제공한다.

제안 방법

• 92개의 GitHub 프로젝트에서 7,116개의 토론에 대한 정량적 분석, 29,136개의 게시물에 대한 정서 분석, GitHub Discussions를 사용한 34명의 개발자로부터 수집한 정성적 설문 조사 응답을 포함한 혼합 방법 연구를 수행했다.
• 주제 분석을 통해 토론 주제를 분류하여 오류, 코드 리뷰, 향후 계획과 같은 반복적인 주제를 식별했다.
• 감성 분석을 적용하여 GitHub Discussions와 스택 오버플로우 게시물의 감정적 어조를 비교하고, 극성(긍정/부정)과 폭력성 수준을 측정했다.
• 상관관계 및 회귀 모델을 사용하여 프로젝트 구성원의 참여도와 토론 빈도 간의 관계를 분석했다.
• 토론 상호작용이 GitHub Issues 및 풀 리퀘스트와 어떻게 연결되어 있는지 분석하여 개발 워크플로우에서의 역할을 평가했다.
• 개발자 설문 조사 응답을 수집하고 분석하여 기대되는 유용성, 채널 선호도, Discussions와 Issues 간의 중복성에 대한 인식을 평가했다.

실험 결과

연구 질문

• RQ1 개발자들은 GitHub Discussions를 기존 커뮤니케이션 채널(예: Issues 및 스택 오버플로우)과 비교하여 어떻게 사용하는가?
• RQ2 GitHub Discussions의 주요 주제 및 토론 카테고리는 무엇이며, 소프트웨어 개발 작업과 어떻게 관련되어 있는가?
• RQ3 GitHub Discussions의 정서 및 감정적 어조는 스택 오버플로우 스레드와 비교하여 어떻게 다른가?
• RQ4 핵심 개발자 참여도와 프로젝트 내 토론 빈도 간의 관계는 어떠한가?
• RQ5 개발자들은 GitHub Discussions의 유용성에 대해 어떻게 평가하며, 이를 도입하는 데서 겪는 과제는 무엇인가?

주요 결과

• 가장 흔한 토론 카테고리는 오류, 예기치 않은 동작, 코드 리뷰이며, 이는 Discussions가 버그 보고와 협업 기반 코드 점검을 위해 사용되고 있음을 시사한다.
• 프로젝트 구성원의 참여도와 토론 빈도 사이에 통계적으로 유의미한 양의 상관관계가 존재하며, 활동적인 기여자들이 커뮤니티 참여를 이끄는 것으로 나타났다.
• 개발자들은 GitHub Discussions를 커뮤니티 형성과 지식 공유에 도움이 된다고 평가하지만, Discussions와 Issues 간의 주제 중복 문제로 인해 소통이 분산될 수 있다는 우려를 제기하고 있다.
• Discussions는 아이디어 교환, 기능 기획, 신규 기여자 온보딩을 촉진함으로써 프로젝트 개발을 진전시키는 데 핵심적인 역할을 하며, 일반적으로 공식적인 Issues 및 풀 리퀘스트의 보완 역할을 한다.
• GitHub Discussions에서는 스택 오버플로우 게시물보다 긍정적인 정서가 더 자주 나타나, 더 협업적이고 적대적이지 않은 커뮤니티 환경임을 시사한다.
• 채널 혼동을 줄이고 Issues, 풀 리퀘스트, Discussions 간 소통의 체계를 향상시키기 위해 프로젝트별 지침이 필요하다는 점이 연구에서 밝혀졌다.