[論文レビュー] Closed source versus open source in a model of software bug dynamics

Damien Challet, Yann Le Du|arXiv (Cornell University)|Jun 19, 2003

Software Engineering Research参考文献 8被引用数 9

ひとこと要約

本稿は、バグをプログラマー、ユーザー、メンテナーより作成・検出・修正される基本的単位として扱うソフトウェアバグダイナミクスの微視的モデルを提案する。開発プロセスが短期リリースサイクルとユーザー参加を組み合わせることでデバッグが加速することを示し、プログラマーのスキルがやや低い状況下でも、十分なスキルとフィードバックループがあればバグフリー状態に到達可能であることを示している。これは、Linuxのような成功プロジェクトにおけるプログラマー品質の下限を示している。

ABSTRACT

We introduce a simple microscopic description of software bug dynamics where users, programmers and a maintainer interact through a given program, with a particular emphasis on bug creation, detection and fixing. When the program is written from scratch, the first phase of development is characterized by a fast decline of the number of bugs, followed by a slow phase where most bugs have been fixed, hence, are hard to find. Releasing immediately bug fixes speeds up the debugging process, which substantiates bazaar open-source methodology. We provide a mathematical analysis that supports our numerical simulations. Finally, we apply our model to Linux history and determine the existence of a lower bound to the quality of its programmers.

研究の動機と目的

• マクロスケールの信頼性モデルを超えた、ソフトウェアバグの生成・検出・是正の微視的メカニズムを理解すること。
• 閉鎖型ソフトウェア（CSS）チームに比べてスキルが低くても、オープンソースソフトウェア（OSS）が高品質を達成できる理由を説明すること。
• 現実的な条件下で、バグフリー状態がダイナミクスの安定固定点であるかどうかを検証すること。
• Linuxのような長期的なソフトウェアプロジェクトが成功するための、最低限のプログラマー品質を定量化すること。
• ユーザーのフィードバック、メンテナの意思決定、リリース頻度がソフトウェア信頼性に与える影響を評価すること。

提案手法

• モデルは各ソフトウェアモジュールをM個の部分から成るとして扱い、ユーザー、プログラマー、メンテナー間の相互作用によってバグが発生・除去されることを想定する。
• プログラマーのスキルδに依存するバグ生成確率、ユーザーによる検出確率β、メンテナーによる是正確率ωおよびνを確率的ルールとして導入する。
• バグ数の確率分布を記述するマスターレンズ式を用いて、システムの時間的進化を解析的に扱えるようにする。
• 成長するソフトウェアプロジェクトを反映する時間依存のシステムサイズS(t)をモデルに組み込み、単純化のためモジュール間の独立性を仮定する。
• Linux（1.0以降）の実測データを用いて、プログラマー数、ユーザー数、コードサイズなどのパラメータをキャリブレーションする。
• プログラマーおよびメンテナーのスキルパラメータに応じて、安定的・ゆっくり減少する振る舞いと不安定的・変動するレジームの間の遷移を予測する。

実験結果

リサーチクエスチョン

• RQ1 不完全なプログラマーおよびメンテナーのもとでも、ソフトウェアプロジェクトがバグフリー状態に収束可能か？
• RQ2 オープンソース開発、特に「バザール」モデルが、個々のプログラマーのスキルが低くても、なぜ閉鎖型開発よりも高いソフトウェア品質を達成できるのか？
• RQ3 長期的に低バグ数に安定するためには、プログラマーの最低限どの程度のスキルが必要か？
• RQ4 ユーザーのフィードバックと短期リリースサイクルは、バグ検出および是正の速度にどのように影響するか？
• RQ5 システムが安定的・ゆっくり減少するフェーズと、変動的・信頼性の低いレジームを示す条件は何か？

主な発見

• モデルは、短期リリースとユーザー参加を特徴とするオープンソース開発が、閉鎖型モデルに比べてデバッグプロセスを顕著に加速することを示している。
• ユーザーが架空のバグを報告し、プログラマーが検証なしにコードを変更する場合、バグフリー状態は固定点ではない。これは、体系的なプロセスの必要性を示唆している。
• Linuxの観察された安定性から、プログラマー品質の下限が導かれる：仮定されたパラメータのもとで、φ ≥ 0.8かつβ ≤ 0.05の十分にスキルの高いプログラマーのみが、安定的・ゆっくり減少するバグ数に到達する。
• プログラマーの品質が低すぎる場合（例：β = 0.15）、システムは大きなバグの変動を示し、信頼性が著しく低下するレジームに突入する。
• モデルは、検出率と是正率のバランスに応じて、安定的・ゆっくり減少するフェーズと不安定的・変動するフェーズの間の遷移を予測している。
• フィードバックループが強く、リリースサイクルが短い場合でさえ、不完全な貢献者を含んでも、高い信頼性を達成可能であり、これはバザール手法の有効性を支持している。