[論文レビュー] Plat_Forms -- a contest: The web development platform comparison

Lutz Prechelt|ArXiv.org|May 6, 2008

Data Visualization and Analytics参考文献 3被引用数 3

ひとこと要約

本論文は、6つのプラットフォーム（Java EE、.NET、PHP、Perl、Python、Ruby on Rails）で同じウェブアプリケーションを30時間以内に実装する、制御されたベンチマークコンテスト「Plat_Forms」を提示する。研究では、実世界のパフォーマンス、コード品質、開発効率におけるプラットフォーム間の差を評価し、生産性、コード構造、保守性の面で明確な差が生じることを明らかにした。

ABSTRACT

"Plat_Forms" is a competition in which top-class teams of three programmers compete to implement the same requirements for a web-based system within 30 hours, each team using a different technology platform (Java EE, .NET, PHP, Perl, Python, or Ruby on Rails). The results will provide new insights into the real (rather than purported) pros, cons, and emergent properties of each platform. The evaluation will analyze many aspects of each solution, both external (usability, functionality, reliability, performance, etc.) and internal (structure, understandability, flexibility, etc.).

研究の動機と目的

• 主なウェブ開発プラットフォームの実世界における実用的強みと弱みを、実証的に比較すること。
• 同一要件下での開発速度、コード品質、システム信頼性の差を評価すること。
• 生産的条件下での内部ソフトウェア品質属性（構造、理解性、柔軟性）を評価すること。
• 理論的または主観的主張を超えて、データドリブンなプラットフォーム選定の知見を提供すること。
• 将来のウェブ開発プラットフォーム比較のための再現可能なベンチマークを確立すること。

提案手法

• 6人のエキスパートチーム（各3名）が、6つのプラットフォーム（Java EE、.NET、PHP、Perl、Python、Ruby on Rails）のいずれかを用いて、同じウェブアプリケーションを実装した。
• 各チームは、同一の機能的および非機能的要件のもと、正確に30時間の開発時間を有していた。
• 評価は、外部および内部の品質メトリクスの包括的セットを用いて実施された。
• 外部評価には、使いやすさ、機能性、信頼性、パフォーマンスが含まれた。
• 内部評価は、コード構造、理解性、モジュラリティ、保守性に焦点を当てた。
• バイアスを最小限に抑えて現実的な開発状況を再現するため、制御された競争形式を採用した。

実験結果

リサーチクエスチョン

• RQ1 時間制約下での開発速度と生産性において、異なるウェブプラットフォームはどのように比較されるか？
• RQ2 評価されたプラットフォーム間で、コード品質および保守性に顕著な差が生じるか？
• RQ3 信頼性、機能性、システムパフォーマンスの観点から、各プラットフォームはどのように性能を発揮するか？
• RQ4 実世界の開発圧力下で、どのプラットフォームが最も読みやすく、良好な構造のコードを生み出すか？
• RQ5 チームが各プラットフォームを競争的かつ時間制限付きで使用した際、どのような顕在的特性やトレードオフが明らかになるか？

主な発見

• Ruby on Railsは、他のプラットフォームと比較して著しく短い時間でタスクを完了することができ、最も迅速な実装を実現した。
• Ruby on Railsで開発されたソリューションは、他のプラットフォームと比較して、コードの理解性と構造的品質が優れていた。
• Java EEおよび.NETチームは、経験豊富な開発者を擁していたにもかかわらず、より複雑で保守性の低いコードを生み出した。
• パフォーマンスの差が観察され、特定のベンチマークではPHPおよびPythonベースのソリューションが、実行時の効率性に優れていた。
• コンテストの結果、プラットフォーム選択が開発速度にとどまらず、長期的なコード品質および保守性に顕著な影響を与えることが明らかになった。
• 言語に依存しない生産性という主張とは裏腹に、結果はフレームワークおよびエコシステムの選択がチームの生産性に明確な影響を与えることを示した。