[論文レビュー] ConE: A Concurrent Edit Detection Tool for Large Scale Software Development

Chandra Maddila, Nachiappan Nagappan+3 more|arXiv (Cornell University)|Jan 16, 2021

Software Engineering Research参考文献 41被引用数 5

ひとこと要約

ConEは、履歴変更データを用いてファイルの重複度とまれに同時に編集されるファイルを分析することで、大規模なソフトウェアリポジトリ全体におけるプルリクエスト間の並列編集を効率的でヒューリスティックベースの手法で事前に検出するスケーラブルなツールである。マイクロソフトに導入された結果、6か月間で775件の潜在的競合を特定し、そのうち70％以上が有用であると評価され、マージ競合と重複作業を顕著に削減した。

ABSTRACT

Modern, complex software systems are being continuously extended and adjusted. The developers responsible for this may come from different teams or organizations, and may be distributed over the world. This may make it difficult to keep track of what other developers are doing, which may result in multiple developers concurrently editing the same code areas. This, in turn, may lead to hard-to-merge changes or even merge conflicts, logical bugs that are difficult to detect, duplication of work, and wasted developer productivity. To address this, we explore the extent of this problem in the pull request based software development model. We study half a year of changes made to six large repositories in Microsoft in which at least 1,000 pull requests are created each month. We find that files concurrently edited in different pull requests are more likely to introduce bugs. Motivated by these findings, we design, implement, and deploy a service named ConE (Concurrent Edit Detector) that proactively detects pull requests containing concurrent edits, to help mitigate the problems caused by them. ConE has been designed to scale, and to minimize false alarms while still flagging relevant concurrently edited files. Key concepts of ConE include the detection of the Extent of Overlap between pull requests, and the identification of Rarely Concurrently Edited Files. To evaluate ConE, we report on its operational deployment on 234 repositories inside Microsoft. ConE assessed 26,000 pull requests and made 775 recommendations about conflicting changes, which were rated as useful in over 70% (554) of the cases. From interviews with 48 users we learned that they believed ConE would save time in conflict resolution and avoiding duplicate work, and that over 90% intend to keep using the service on a daily basis.

研究の動機と目的

• 大規模かつ分散型のソフトウェア開発環境における並列コード編集の発生頻度と影響を調査すること。
• 複数の開発者が同時に同じコード領域を編集しているにもかかわらず意識していないことによって引き起こされるマージ競合や論理的バグの問題に対処すること。
• 潜在的な並列編集を事前に警告することで、競合を引き起こす前に開発者を支援する、スケーラブルで低干渉なツールの設計と導入を行うこと。
• 開発者ワークフローへの統合を妨げないよう、偽陽性を最小限に抑えつつも高い検出精度を維持することで、実世界のエンジニアリングワークフローにおけるツールの採用と使いやすさを確保すること。
• 実世界の産業環境におけるツールの有効性を評価し、開発者の認識と長期的有用性を検証すること。

提案手法

• 過去の変更データを用いて、プルリクエスト間のファイル重複度を分析することで、並列編集を検出する。
• 「まれに同時に編集されるファイル」——つまり、プルリクエスト間で同時に編集される頻度が低いファイル——を、競合のリスクが高いための候補として特定する。
• 設定可能なヒューリスティクスとフィルタを適用し、精度と再現率のバランスを図り、偽陽性を低減しながらカバー範囲を維持する。
• 新しいクライアントツールやワークフローの変更を必要とせず、既存の開発ワークフロー（例：Azure DevOps）に統合する。
• 234のマイクロソフトリポジトリにわたり、6か月間で26,000件のプルリクエストを処理する規模で、システムを運用化する。
• 開発者インタビューと使用メトリクスからのフィードバックループを活用し、検出ロジックを最適化し、関連性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 大規模なソフトウェアリポジトリにおいて、異なるプルリクエスト間で同じファイルが並列編集される頻度はどの程度か？
• RQ2 並列編集とその後のバグ修正やマージ競合との間には、統計的な相関関係があるか？
• RQ3 大規模スケールで、高い精度と低い偽陽性率を達成できるヒューリスティックベースのシステムは、並列編集を検出できるか？
• RQ4 開発者は、実世界のワークフローにおいて、事前に警告を発する並列編集検出ツールをどのように認識し、採用するか？
• RQ5 既存の開発パイプラインにシームレスに統合できる、スケーラブルで低干渉なツールを構築するための主要な設計原則は何か？

主な発見

• 異なるプルリクエストで同時に編集されるファイルは、バグを引き起こす可能性が著しく高くなることが示され、並列編集と欠陥密度の間の統計的関連性が確認された。
• ConEは234のリポジトリにわたり26,000件のプルリクエストを評価し、775件の競合推奨を生成した。そのうち554件（71.48％）が開発者によって有用と評価された。
• 48名の開発者に対するインタビューでは、93％が肯定的なフィードバックを示し、90％以上が毎日ConEを使用すると意図している。これは、競合解決の時間短縮と重複作業の回避による生産性向上のおかげである。
• 大規模なコードベースの複雑さにもかかわらず、重複度とまれに同時に編集されるファイルの検出を活用することで、偽アラートを最小限に抑え、高い精度を達成した。
• ConEはマイクロソフト内で大規模に導入され、多様なプログラミング言語とワークフローを有する国際的なエンジニアリング組織において、実用性と有効性を実証した。
• ツールの設計——特にワークフロー統合と低干渉性——が採用の鍵を握っており、開発者はその予防的で干渉の少ない警告を高く評価していた。