[論文レビュー] Don't Disturb Me: Challenges of Interacting with SoftwareBots on Open Source Software Projects

Mairieli Wessel, Igor Wiese+2 more|arXiv (Cornell University)|Mar 25, 2021

Wikis in Education and Collaboration参考文献 77被引用数 40

ひとこと要約

本論文は、オープンソースソフトウェア（OSS）プロジェクト、特にGitHubのプルリクエストにおけるソフトウェアボットとの対話の課題を調査している。21名の実務家を対象とした準構造的インタビューを通じて、著者たちは、過剰な、冗長な、あるいは干渉的なボット行動によって引き起こされる「ノイズ」を、開発者間のコミュニケーションとワークフローを妨げる中心的問題として特定した。主な貢献は、ボットに起因するノイズが情報過多を引き起こす仕組みを理論化したものであり、協働開発環境における人間とボットのインタラクション設計の改善に役立つ知見を提供する。

ABSTRACT

Software bots are used to streamline tasks in Open Source Software (OSS) projects' pull requests, saving development cost, time, and effort. However, their presence can be disruptive to the community. We identified several challenges caused by bots in pull request interactions by interviewing 21 practitioners, including project maintainers, contributors, and bot developers. In particular, our findings indicate noise as a recurrent and central problem. Noise affects both human communication and development workflow by overwhelming and distracting developers. Our main contribution is a theory of how human developers perceive annoying bot behaviors as noise on social coding platforms. This contribution may help practitioners understand the effects of adopting a bot, and researchers and tool designers may leverage our results to better support human-bot interaction on social coding platforms.

研究の動機と目的

• オープンソースソフトウェア（OSS）プロジェクトにおけるプルリクエスト対話におけるソフトウェアボットがもたらす課題を理解すること。
• ボットの行動が協働コーディング環境における人間のコミュニケーションと開発ワークフローにどのように影響するかを調査すること。
• メンテナーや貢献者、ボット開発者を含む開発者がボット行動を「ノイズ」としてどのように認識するかを特定・分析すること。
• 実務家経験に基づいた理論を構築し、ボットの対話がワークフローとコミュニケーションをどのように妨げるかを説明すること。

提案手法

• OSSメンテナーや貢献者、ボット開発者を対象に、21件の準構造的インタビューを実施した。
• 定性的分析を用い、ボット関連の課題に関する繰り返しするテーマやパターンを特定した。
• 参加者によるメンバー・チェックを通じて、調査結果の正確性と信頼性を検証した。
• ノイズを核心的構概念として抽出し、インタビューデータから導出された理論的枠組みを、破壊的ボット行動の説明に焦点を当てた。
• GitHubベースの対話に特化し、ボットの行動がコミュニケーションフローと認知的負荷にどのように影響するかを分析した。
• ボットの冗長性、行動頻度、不要な干渉が開発者体験に与える影響を調査した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: オープンソースソフトウェアプロジェクトにおけるプルリクエスト支援の文脈で、ソフトウェアボットはどのような対話の課題を引き起こすか？
• RQ2 RQ2: 開発者は、コミュニケーションやワークフローを妨げるボット行動をどのように認識し、どのように反応するか？
• RQ3 RQ3: コラボラティブ開発環境において、「ノイズ」はソフトウェアボットに対する否定的認識をどのように果たすか？

主な発見

• 開発者は、過剰なコメント、繰り返しの通知、冗長なフィードバックといったボット行動を、コミュニケーションとワークフローを妨げるノイズとして頻繁に認識している。
• ボットに起因するノイズは情報過多を引き起こし、ボットが作業負荷を軽減することを意図しているにもかかわらず、開発者が圧倒されたり、気が散ったりする原因となる。
• メンテナーや貢献者は、ノイズへの対応としてボットの再設定、対話の再設計、通知の無効化、場合によってはリポジトリのウォッチ解除を実施することが多い。
• 新規参加者たちは、支援的なガイダンスが伴わないまま多数の批判的コメントを受け取ることで、ボットのフィードバックに特に影響を受ける。
• ボットが人間のコメント数を減らしているにもかかわらず、開発者はしばしばその減少を認識せず、期待の不一致を生じさせる。
• 本研究では、ボットに起因するノイズと認知的混乱との間の理論的関連性を特定し、ソーシャルコーディングプラットフォームにおけるより洗練されたボット設計の必要性を強調している。