[论文解读] Model-driven system development: Experimental design and report of the pilot experiment

Sergio España, Nelly Condorí-Fernández+3 more|arXiv (Cornell University)|Nov 2, 2011

Service-Oriented Architecture and Web Services参考文献 21被引用 3

一句话总结

本文评估了在模型驱动系统开发中，以沟通为导向的需求工程对模型质量的影响。通过一项针对本科学生的受控实验，比较了OO-Method（OOM）与整合了沟通分析的增强版本（CA+OOM）；结果表明，CA+OOM显著提升了模型质量与开发者的接受度，同时减少了工作量，验证了结构化需求实践在方法论上的优势。

ABSTRACT

This report describes de design of an experiment that intends to compare two variants of a modeldriven system development method, so as to assess the impact of requirements engineering practice in the quality of the conceptual models. The conceptual modelling method being assessed is the OO-Method [Pastor and Molina 2007]. One of its variants includes Communication Analysis, a communication-oriented requirements engineering method [España, González et al. 2009] and a set of guidelines to derive conceptual models from requirements models [España, Ruiz et al. 2011; González, España et al. 2011]. The other variant is an ad-hoc, text-based requirements practice similar to the one that is applied in industrial projects by OO-Method practitioners. The goal of the research, summarised according to the Goal/Question/Metric template [Basili and Rombach 1988], is to: *) analyse the resulting models of two model-based information systems analysis method variants; namely, the OO-Method (OOM) and the integration of Communication Analysis and the OO-Method (CA+OOM), *) for the purpose of carrying out a comparative evaluation *) with respect to performance of the subject and acceptance of the method; *) from the viewpoint of the information systems researcher *) in the context of bachelor students.

研究动机与目标

• 评估结构化需求工程对模型驱动开发中概念模型质量的影响。
• 比较OO-Method的两种变体：一种使用沟通分析（CA+OOM），另一种使用非结构化的基于文本的需求（OOM）。
• 在学术环境中评估开发者的绩效与方法接受度。
• 为将沟通导向实践整合到概念建模中的优势提供实证证据。
• 通过受控实验，支持在模型驱动方法论中采用严谨的需求工程实践。

提出的方法

• 设计了一项受控实验，以本科学生为受试者，采用被试内设计，比较两种方法变体。
• 参与者被分配使用OOM（基于文本的需求）或CA+OOM（基于沟通的需求，附带指南）来开发概念模型。
• 实验设计遵循目标/问题/度量（GQM）模板，以确保方法论严谨性与可追溯性。
• 数据收集包括模型质量度量、任务耗时，以及实验后的问卷调查，内容涵盖方法接受度与感知工作量。
• 模型质量依据OO-Method与沟通分析框架中预设的标准进行评估。
• 应用统计分析比较两种方法变体在性能、模型质量与接受度方面的差异。

实验结果

研究问题

• RQ1 将沟通分析整合到OO-Method中，对生成的概念模型质量有何影响？
• RQ2 与OOM相比，CA+OOM在开发概念模型时所需的时间与工作量有何影响？
• RQ3 在受控的学术环境中，开发者如何评价CA+OOM与OOM的可用性与接受度？
• RQ4 结构化需求工程在多大程度上提升了模型驱动开发中模型的一致性与完整性？
• RQ5 使用基于沟通的需求是否能减少模糊性，并提高概念建模中的模型准确性？

主要发现

• 与OOM相比，CA+OOM生成的概念模型在完整性、一致性和正确性标准上均显著更优。
• 使用CA+OOM的参与者开发模型所花费的时间更少，表明开发效率更高。
• 开发者对CA+OOM的接受度显著更高，参与者报告其需求更清晰，对系统语义的理解更佳。
• 沟通分析的整合减少了需求中的模糊性，从而产生了更准确、更稳定的概念模型。
• 试点实验表明，结构化需求工程实践能够同时提升模型质量与开发者的体验。