[论文解读] KARB Solution: Compliance to Quality by Rule Based Benchmarking

MohammadReza Besharati, Mohammad Izadi|arXiv (Cornell University)|Jul 11, 2020

Advanced Software Engineering Methodologies参考文献 108被引用 9

一句话总结

本文提出KARB（基于规则的合规异常规避基准测试），一种利用符号规范和语义规则进行软件合规性和质量评估的基于规则的方法。通过在伊朗即时通讯应用（IR-QUMA）上的案例研究，表明混合DD-KARB方法——结合语义感知与数据驱动技术——在估计用户质量得分方面比独立方法更有效、更准确。

ABSTRACT

Instead of proofs or logical evaluations, compliance assessment could be done by benchmarking. Benchmarks, in their nature, are applied. So a set of benchmarks could shape an applied solution for compliance assessment. In this paper, we introduce the KARB solution: Keeping away compliance Anomalies by Rule-based Benchmarking. By rule-based benchmarking, we mean evaluation of under-compliance-system by its symbolic specification and by using a set of symbolic rules (on behalf of semantic logic of evaluation). In order to demonstrate and investigate the manner of KARB solution, we conducted a case study. The IR-QUMA study (Iranian Survey on Quality in Messenger Apps) is defined to evaluate the quality of some messenger apps. the results of evaluations suggest that the Hybrid Method of DD-KARB (with combination of semantics-awareness and data-drivenness) is more effective than solo-methods and could compute a somehow good estimation for messenger-apps user quality scores. So DD-KARB could be considered as a method for quality benchmarking in this technical context.

研究动机与目标

• 为以实用、可扩展且基于规则的方式评估软件合规性和质量提供解决方案。
• 通过基准驱动的评估替代形式证明或逻辑评估，减少对其依赖。
• 开发一个符号化、基于规则的框架，支持对软件系统的语义感知和数据驱动评估。
• 评估KARB方法在实际软件质量基准测试中的有效性，特别是在移动即时通讯应用背景下的表现。
• 证明混合基于规则的方法可提供比孤立方法更准确的质量得分估计。

提出的方法

• KARB解决方案将软件系统的符号规范作为合规性和质量评估的输入。
• 应用一组预定义的符号规则，代表合规性评估的语义逻辑。
• 该方法将语义感知分析与数据驱动技术相结合，形成DD-KARB混合模型。
• 通过伊朗即时通讯应用（IR-QUMA）的案例研究进行评估，使用真实世界数据和质量指标。
• 应用规则以分析系统行为和合规性异常，重点关注以用户为中心的质量属性。
• 混合方法结合基于规则的符号推理与实证数据，以提高估计准确性。

实验结果

研究问题

• RQ1 基于规则的基准测试能否有效替代合规性和质量评估中的形式证明？
• RQ2 语义感知与数据驱动组件的整合在多大程度上提升了软件系统中的质量估计？
• RQ3 DD-KARB混合模型在质量基准测试中，与独立的基于规则或数据驱动方法相比，其优越性体现在何处？
• RQ4 符号化规则系统能否在实际软件应用中检测并缓解合规性异常？
• RQ5 KARB框架在估计移动即时通讯应用的用户质量得分方面准确度如何？

主要发现

• 与独立的基于规则或数据驱动方法相比，DD-KARB混合方法在估计用户质量得分方面表现出更优性能。
• 在IR-QUMA案例研究中，语义规则与实证数据的结合带来了更稳健、更准确的基准测试结果。
• KARB框架通过符号化规则评估成功识别并缓解了合规性异常。
• 结果表明，基于规则的基准测试是形式证明驱动合规性评估的可行且有效的替代方案。
• 案例研究证实，混合方法在实践中能提供更细致且可靠的软件质量估计。