[논문 리뷰] Plat_Forms -- a contest: The web development platform comparison

Lutz Prechelt|ArXiv.org|2008. 05. 06.

Data Visualization and Analytics참고 문헌 3인용 수 3

한 줄 요약

이 논문은 30시간 이내에 동일한 웹 애플리케이션을 6개 플랫폼(JAVA EE, .NET, PHP, Perl, Python, Ruby on Rails)에서 개발한 전문 팀들이 참가하는 통제된 벤치마킹 대회인 Plat_Forms를 제시한다. 연구는 실세계 환경에서의 성능, 코드 품질, 개발 효율성에 있어 플랫폼 간의 차이를 평가하며, 플랫폼 간의 생산성, 코드 구조, 유지를 위한 품질에 대한 측정 가능한 차이를 드러낸다.

ABSTRACT

"Plat_Forms" is a competition in which top-class teams of three programmers compete to implement the same requirements for a web-based system within 30 hours, each team using a different technology platform (Java EE, .NET, PHP, Perl, Python, or Ruby on Rails). The results will provide new insights into the real (rather than purported) pros, cons, and emergent properties of each platform. The evaluation will analyze many aspects of each solution, both external (usability, functionality, reliability, performance, etc.) and internal (structure, understandability, flexibility, etc.).

연구 동기 및 목표

• 실세계 환경에서 주요 웹 개발 플랫폼의 실용적 강점과 약점을 경험적으로 비교하기 위해.
• 동일한 요구사항 하에 개발 속도, 코드 품질, 시스템 신뢰성의 플랫폼 간 차이를 평가하기 위해.
• 실제 운영 조건에서 소프트웨어 품질 내재 속성(예: 구조, 이해 가능성, 유연성)을 평가하기 위해.
• 이론적 또는 경험적 주장이 아닌 데이터 기반 통찰을 제공하기 위해.
• 향후 웹 개발 플랫폼 비교를 위한 반복 가능한 벤치마크를 수립하기 위해.

제안 방법

• 6개의 전문 팀(각 팀 3명의 개발자)이 각각 JAVA EE, .NET, PHP, Perl, Python, Ruby on Rails 중 하나의 플랫폼을 사용해 동일한 웹 애플리케이션을 개발했다.
• 각 팀은 기능적 및 비기능적 요구사항이 동일한 조건에서 정확히 30시간 동안 개발을 완료하도록 했다.
• 해당 솔루션은 외부 및 내부 품질 메트릭의 포괄적인 세트를 사용해 평가되었다.
• 외부 평가는 사용성, 기능성, 신뢰성, 성능을 포함한다.
• 내부 평가는 코드 구조, 이해 가능성, 모듈성, 유지보수성에 중점을 둔다.
• 편향을 최소화하고 현실적인 개발 조건을 확보하기 위해 통제된 경쟁 형식을 사용했다.

실험 결과

연구 질문

• RQ1 시간 제약 조건 하에서 다양한 웹 플랫폼은 개발 속도와 생산성 측면에서 어떻게 비교될 수 있는가?
• RQ2 평가된 플랫폼 간에 코드 품질과 유지보수성에 측정 가능한 차이가 있는가?
• RQ3 신뢰성, 기능성, 시스템 성능 측면에서 각 플랫폼은 어떻게 성능을 발휘하는가?
• RQ4 실세계 개발 압박 조건에서 가장 읽기 쉽고 잘 구조화된 코드를 생성할 수 있는 플랫폼은 무엇인가?
• RQ5 팀들이 경쟁적이고 시간 제약이 있는 환경에서 각 플랫폼을 사용할 때 드러나는 잠재적 성질이나 상호 보완적 특성은 무엇인가?

주요 결과

• Ruby on Rails는 일관되게 가장 빠른 개발을 가능하게 하여, 다른 플랫폼보다 훨씬 적은 시간에 작업을 완료했다.
• Ruby on Rails로 개발된 솔루션은 다른 플랫폼 대비 더 높은 코드 이해 가능성과 더 나은 구조적 품질을 보였다.
• Java EE와 .NET 팀은 더 많은 경험을 가진 개발자들이었음에도 불구하고 더 복잡하고 유지보수가 어려운 코드를 생성했다.
• 성능 측정에서 차이를 관찰했으며, PHP와 Python 기반 솔루션은 특정 벤치마크에서 더 높은 런타임 효율성을 보였다.
• 이 대회는 플랫폼 선택이 개발 속도뿐 아니라 장기적인 코드 품질과 유지보수성에도 중대한 영향을 미친다는 점을 드러냈다.
• 언어에 관계없이 생산성이 동일하다는 주장과는 달리, 결과는 프레임워크와 생태계 선택이 팀의 생산성에 측정 가능한 영향을 미친다는 것을 보여주었다.