[论文解读] Do Software Languages Engineers Evaluate their Languages?

Pedro Gabriel, Miguel Goulão+1 more|arXiv (Cornell University)|Sep 30, 2011

Advanced Software Engineering Methodologies参考文献 17被引用 7

一句话总结

本文研究了领域特定语言（DSL）开发中系统性评估的缺失问题，发现2001–2008年间SLE论文中仅有14%报告了任何形式的可用性或质量评估，尽管其声称能提升生产力和可维护性。作者主张将结构化、可重复的评估实践整合到DSL工程生命周期中，以提升可信度和采纳率。

ABSTRACT

Domain Specific Languages (DSLs) can contribute to increment productivity, while reducing the required maintenance and programming expertise. We hypothesize that Software Languages Engineering (SLE) developers consistently skip, or relax, Language Evaluation. Based on the experience of engineering other types of software products, we assume that this may potentially lead to the deployment of inadequate languages. The fact that the languages already deal with concepts from the problem domain, and not the solution domain, is not enough to validate several issues at stake, such as its expressiveness, usability, effectiveness, maintainability, or even the domain expert's productivity while using them. We present a systematic review on articles published in top ranked venues, from 2001 to 2008, which report DSLs' construction, to characterize the common practice. This work confirms our initial hypothesis and lays the ground for the discussion on how to include a systematic approach to DSL evaluation in the SLE process.

研究动机与目标

• 调查软件语言工程师是否在发表的研究中系统性地评估其DSL。
• 识别2001至2008年顶级SLE会议中报告的评估实践的广度与质量。
• 揭示DSL声称的优势与文献中缺乏实证验证之间的差距。
• 激励SLE社区将标准化、系统化的评估作为DSL开发过程的核心阶段。
• 支持将评估整合到SLE过程模型中，以提升DSL主张的可信度与可复现性。

提出的方法

• 对2001至2008年间顶级SLE会议（如GPCE、MODELS、ICSR）的110篇论文进行了系统性文献综述。
• 应用预定义的客观标准，根据论文是否报告任何形式的评估（定量或定性）对论文进行分类。
• 分析评估报告的细节，以评估方法论的透明度及用户参与程度。
• 评估所用示例的代表性（如玩具示例与工业规模示例），以评估有效性威胁。
• 评估评估研究中的用户特征，以判断领域专家是否参与其中。
• 识别有效性威胁，包括潜在遗漏的论文和误分类，并应用缓解策略。

实验结果

研究问题

• RQ1 2001至2008年间的SLE研究中，DSL的评估程度如何？
• RQ2 报告了哪些类型的评估（定性、定量），其程序描述的详细程度如何？
• RQ3 评估对象具有多大代表性，领域专家是否参与了评估过程？
• RQ4 支持DSL可用性、生产力和可维护性主张的证据质量如何？
• RQ5 缺乏系统性评估对DSL在实践中可信度与采纳率有何影响？

主要发现

• 在所调查的SLE论文中，仅有14%报告了任何形式的评估（定性或定量），表明验证实践存在显著缺口。
• 评估报告通常描述不足，缺乏足够的细节以支持复现，从而削弱了主张的可复现性与可信度。
• 大多数评估依赖于玩具示例而非工业规模的应用，威胁了研究发现的外部有效性。
• 大多数论文未对参与评估的受试者进行特征描述，引发对领域专家（关键用户）是否实际参与的担忧。
• 尽管广泛声称能提升生产力和可维护性，但文献中的证据大多基于轶事支持或完全缺失。
• 缺乏系统性评估表明，SLE社区尚未将验证作为DSL工程生命周期中的标准阶段加以制度化。