[論文レビュー] On How Developers Test Open Source Software Systems

Andy Zaidman, Bart Van Rompaey+2 more|arXiv (Cornell University)|May 24, 2007

Software Engineering Research参考文献 24被引用数 3

ひとこと要約

本研究は、3つのプロジェクトにおけるバージョン管理、コードカバレッジ、サイズメトリクスを分析することで、オープンソースソフトウェアにおけるテスト実践を調査している。テスト活動は通常、開発の後半に始まり、段階的であることが判明した。リリース直前には一貫した増加が見られず、コードベースのサイズやテストカバレッジの違いにもかかわらず、その傾向は継続的である。

ABSTRACT

Engineering software systems is a multidisciplinary activity, whereby a number of artifacts must be created - and maintained - synchronously. In this paper we investigate whether production code and the accompanying tests co-evolve by exploring a project's versioning system, code coverage reports and size-metrics. Three open source case studies teach us that testing activities usually start later on during the lifetime and are more "phased", although we did not observe increasing testing activity before releases. Furthermore, we note large differences in the levels of test coverage given the proportion of test code.

研究の動機と目的

• オープンソースシステムにおけるテスト実践と本番コードの共進化の仕組みを理解すること。
• ソフトウェアリリースの直前におけるテスト活動の増加が見られるかどうかを調査すること。
• プロジェクトライフサイクル全体を通じて、テストコード量とテストカバレッジの関係を分析すること。
• バージョニングとカバレッジデータを用いて、テスト活動の時間的パターンを明らかにすること。
• テストが開発プロセスの初期段階で統合されているのか、それとも後期にまで遅延しているのかを評価すること。

提案手法

• 3つのオープンソースプロジェクトのバージョン管理履歴を分析し、時間経過に伴うコードおよびテストの変更を追跡した。
• コードカバレッジレポートを収集・評価し、テストの有効性とカバレッジトレンドを測定した。
• サイズメトリクス（例：行数、テスト行数）を抽出し、本番コードに対するテスト作業の相対的規模を比較した。
• 開発マイルストーンおよびリリースサイクルに沿って、テストコードと本番コードの進化をマッピングした。
• テストコミットの時間的クラスタリングを分析することで、テスト活動のフェーズを同定した。
• 統計的分析を用いて、テスト活動とリリーススケジュール、コード変更との相関関係を検証した。

実験結果

リサーチクエスチョン

• RQ1 オープンソースプロジェクトにおいて、リリースの直前にはテスト活動が増加するのか？
• RQ2 プロジェクトライフサイクル全体を通じて、テストコードの割合と実際のテストカバレッジの関係はいかなるものか？
• RQ3 テスト活動は、開発の開始からいつごろ通常開始されるのか？
• RQ4 主な開発フェーズと一致する一貫したテスト開発パターンが存在するのか？
• RQ5 テストカバレッジとテストコード量は、本番コードの変更とどのように関係して進化するのか？

主な発見

• テスト活動は、通常、プロジェクトライフサイクルの後半に始まり、初期段階から統合されるわけではない。
• テスト開発はしばしば段階的であり、一定のペースではなく、明確な期間にわたりテストコミットのクラスタが発生する。
• リリース直前のテスト活動の増加は一貫して観察されず、リリース直前のテスト急増という仮定とは矛盾する。
• 同じテストコードの割合であっても、プロジェクト間でテストカバレッジに顕著な差が存在する。
• テストコードと本番コードの比率は、テストカバレッジの水準を信頼性を持って予測できない。
• 本番コードとテストの共進化は弱く、テストはしばしば能動的ではなく、反応的（反応的）に追加されていることが示唆される。