[论文解读] Automatically detecting the conflicts between software requirements based on finer semantic analysis

Weize Guo, Li Zhang+1 more|arXiv (Cornell University)|Mar 3, 2021

Software Engineering Research参考文献 36被引用 10

一句话总结

本文提出 FSARC，一种新颖方法，通过分析其更精细的语义结构，自动检测自然语言功能需求中的冲突。利用语义元模型及 POS 和依存句法分析等自然语言处理技术，FSARC 在真实世界数据集上识别出七类冲突，召回率为 100%，平均精确率为 83.88%，为早期需求验证提供了一种实用解决方案，无需依赖形式化模板或外部资源。

ABSTRACT

Context: Conflicts between software requirements bring uncertainties to product development. Some great approaches have been proposed to identify these conflicts. However, they usually require the software requirements represented with specific templates and/or depend on other external source which is often uneasy to build for lots of projects in practice. Objective: We aim to propose an approach Finer Semantic Analysis-based Requirements Conflict Detector (FSARC) to automatically detecting the conflicts between the given natural language functional requirements by analyzing their finer semantic compositions. Method: We build a harmonized semantic meta-model of functional requirements with the form of eight-tuple. Then we propose algorithms to automatically analyze the linguistic features of requirements and to annotate the semantic elements for their semantic model construction. And we define seven types of conflicts as long as their heuristic detecting rules on the ground of their text pattern and semantical dependency. Finally, we design and implement the algorithm for conflicts detection. Results: The experiment with four requirement datasets illustrates that the recall of FSARC is nearly 100% and the average precision is 83.88% on conflicts detection. Conclusion: We provide a useful tool for detecting the conflicts between natural language functional requirements to improve the quality of the final requirements set. Besides, our approach is capable of transforming the natural language functional requirements into eight semantic tuples, which is useful not only the detection of the conflicts between requirements but also some other tasks such as constructing the association between requirements and so on.

研究动机与目标

• 为解决在工业中普遍存在但常被现有工具忽略的自然语言功能需求冲突检测挑战。
• 消除对形式化模板或外部资源（如代码或性能约束）的依赖，这些资源通常在开发早期不可用。
• 开发一种可自动扩展的方法，直接从原始自然语言需求中识别冲突。
• 构建一个统一的语义元模型，以捕捉功能需求的核心要素，提升分析与复用能力。
• 通过聚焦于“shall”风格等常见实际需求格式，实现在真实项目中实用的冲突检测。

提出的方法

• 构建统一的八元组语义元模型，以表示功能需求的细粒度语义组件。
• 应用词性标注（POS）和语义依存句法分析（SDP），从自然语言需求中提取语言特征。
• 设计启发式规则，基于自然语言处理输出自动标注语义元素（如主语、动作、宾语）。
• 根据文本模式和语义依存关系定义七类不同的冲突类型，如资源竞争和输入输出互锁。
• 实现一种冲突检测算法，通过检查标注后的语义元组之间的规则匹配来识别冲突。
• 使用来自不同领域（包括无人机、WorldVista、电信管理及太阳能供电系统）的五个开源需求数据集验证该方法。

实验结果

研究问题

• RQ1 细粒度语义元模型能否准确表示自然语言功能需求的核心组件？
• RQ2 POS 和 SDP 等自然语言处理技术在真实需求文本中识别和标注语义元素的效率如何？
• RQ3 预定义的启发式规则能否在多样化的需求集合中以高召回率和高精确率检测出七类冲突？
• RQ4 该方法在无需形式化模板的情况下，跨不同领域和需求格式的泛化能力如何？
• RQ5 与人工标注相比，冲突检测算法在精确率和召回率方面的表现如何？

主要发现

• 语义元素标注算法在三个开源需求数据集上的平均准确率达到 94.93%，表明其在语义标注方面表现优异。
• 冲突检测算法在四个多样化的需求数据集上实现 100.00% 的召回率和 83.88% 的平均精确率，表明对已知冲突的近乎完全检测。
• 评估中仅发现一个误报，源于错误的实体识别，可通过改进解析予以纠正。
• 该方法在不同领域（包括航空航天、电信和能源系统）表现出高度泛化能力，性能稳定一致。
• 通过两位作者双人复核验证了人工标注的可靠性，降低了主观性，提升了真实值的可信度。
• 该方法优于现有方法，因其无需依赖执行代码或性能约束等外部资源，适用于早期阶段的需求验证。