[논문 리뷰] Don't Disturb Me: Challenges of Interacting with SoftwareBots on Open Source Software Projects

Mairieli Wessel, Igor Wiese외 2명|arXiv (Cornell University)|2021. 03. 25.

Wikis in Education and Collaboration참고 문헌 77인용 수 40

한 줄 요약

이 논문은 오픈소스 소프트웨어(OSS) 프로젝트, 특히 GitHub 풀 리퀘스트에서 소프트웨어 봇과의 상호작용이 초래하는 과제를 조사한다. 21명의 전문가를 대상으로 한 반구조화된 인터뷰를 통해 저자들은 '노이즈'—과도하거나 지나치게 자세하거나 방해적인 봇 행동으로 인한 것—가 개발자 간 소통과 워크플로우를 방해하는 핵심 문제임을 밝혀냈다. 주요 기여는 봇으로 인한 노이즈가 정보 과부하를 유도하는 방식을 이론화한 것으로, 협업 개발 환경에서 인간-봇 상호작용 설계를 향상시키는 데 통찰을 제공한다.

ABSTRACT

Software bots are used to streamline tasks in Open Source Software (OSS) projects' pull requests, saving development cost, time, and effort. However, their presence can be disruptive to the community. We identified several challenges caused by bots in pull request interactions by interviewing 21 practitioners, including project maintainers, contributors, and bot developers. In particular, our findings indicate noise as a recurrent and central problem. Noise affects both human communication and development workflow by overwhelming and distracting developers. Our main contribution is a theory of how human developers perceive annoying bot behaviors as noise on social coding platforms. This contribution may help practitioners understand the effects of adopting a bot, and researchers and tool designers may leverage our results to better support human-bot interaction on social coding platforms.

연구 동기 및 목표

• 오픈소스 소프트웨어(OSS) 프로젝트의 풀 리퀘스트 상호작용에서 소프트웨어 봇이 초래하는 과제를 이해하는 것.
• 봇 행동이 협업 코딩 환경에서 인간 간 소통과 개발 워크플로우에 미치는 영향을 조사하는 것.
• 유지보수자, 기여자, 봇 개발자 포함 개발자들이 봇 행동을 '노이즈'로 인식하는 방식을 식별하고 분석하는 것.
• 실제 전문가 경험에 기반한 이론을 개발하여 봇 상호작용이 워크플로우와 소통을 어떻게 방해하는지 설명하는 것.

제안 방법

• 경험이 풍부한 전문가 21명(오픈소스 유지보수자, 기여자, 봇 개발자)을 대상으로 반구조화된 인터뷰를 실시함.
• 지속적 비교를 활용한 정성적 분석을 통해 봇과 관련된 과제에서 반복되는 주제와 패턴을 식별함.
• 참여자 확인을 통해 결과의 정확성과 신뢰성을 검증함.
• 인터뷰 데이터에서 유도된 핵심 개념으로 노이즈를 중심으로 한 이론적 개발을 수행함.
• GitHub 기반 상호작용에 집중하여 봇 행동이 소통 흐름과 인지 부하에 어떤 영향을 미치는지 분석함.
• 봇의 어조, 행동 빈도, 예상치 못한 간섭이 개발자 경험에 어떤 영향을 미치는지 탐색함.

실험 결과

연구 질문

• RQ1 RQ1: 오픈소스 소프트웨어 프로젝트에서 풀 리퀘스트를 지원하는 데 있어 소프트웨어 봇이 초래하는 상호작용 과제는 무엇인가요?
• RQ2 RQ2: 개발자들은 소통과 워크플로우를 방해하는 봇 행동을 어떻게 인식하고 반응합니까?
• RQ3 RQ3: '노이즈'는 협업 개발 환경에서 소프트웨어 봇에 대한 부정적 인식에 어떤 역할을 합니까?

주요 결과

• 개발자들은 과도한 댓글, 반복적인 알림, 자세한 피드백과 같은 봇 행동을 소통과 워크플로우를 방해하는 노이즈로 자주 인식함.
• 봇에서 유래한 노이즈는 정보 과부하를 유도하여, 봇이 작업 부담을 줄이기 위해 의도된 경우에도 개발자가 압도되고 산만해지는 감정을 느끼게 함.
• 유지보수자들은 노이즈에 대응해 봇 재설정, 상호작용 재설계, 알림 비활성화(레포지토리 언워치 포함)를 시행함.
• 신규 기여자는 봇 피드백으로 인해 특히 영향을 받으며, 지나친 비판적 의견의 양과 함께 지지적인 안내가 부족해 지루하거나 좌절감을 느낄 수 있음.
• 봇이 인간의 댓글 수를 줄였음에도 불구하고, 개발자들은 종종 이 감소를 인지하지 못해 기대 차이가 발생함.
• 본 연구는 봇으로 인한 노이즈와 인지적 방해 사이에 이론적 연결 고리를 밝혀내었으며, 사회적 코딩 플랫폼에서 더 신중한 봇 설계의 필요성을 강조함.