[논문 리뷰] KARB Solution: Compliance to Quality by Rule Based Benchmarking

MohammadReza Besharati, Mohammad Izadi|arXiv (Cornell University)|2020. 07. 11.

Advanced Software Engineering Methodologies참고 문헌 108인용 수 9

한 줄 요약

이 논문은 기호적 사양과 의미 규칙을 사용하여 소프트웨어 준수성과 품질을 평가하는 규칙 기반 방법인 KARB(Knowing away Compliance Anomalies by Rule-based Benchmarking)를 제안한다. 이는 이란 메신저 앱(IR-QUMA)에 대한 사례 연구를 통해, 의미 인식 기반과 데이터 기반 기법을 융합한 하이브리드 DD-KARB 접근 방식이 단독으로 사용되는 방법보다 더 효과적이고 정확한 사용자 품질 점수 추정을 가능하게 한다는 것을 보여준다.

ABSTRACT

Instead of proofs or logical evaluations, compliance assessment could be done by benchmarking. Benchmarks, in their nature, are applied. So a set of benchmarks could shape an applied solution for compliance assessment. In this paper, we introduce the KARB solution: Keeping away compliance Anomalies by Rule-based Benchmarking. By rule-based benchmarking, we mean evaluation of under-compliance-system by its symbolic specification and by using a set of symbolic rules (on behalf of semantic logic of evaluation). In order to demonstrate and investigate the manner of KARB solution, we conducted a case study. The IR-QUMA study (Iranian Survey on Quality in Messenger Apps) is defined to evaluate the quality of some messenger apps. the results of evaluations suggest that the Hybrid Method of DD-KARB (with combination of semantics-awareness and data-drivenness) is more effective than solo-methods and could compute a somehow good estimation for messenger-apps user quality scores. So DD-KARB could be considered as a method for quality benchmarking in this technical context.

연구 동기 및 목표

• 실용적이고 확장 가능하며 규칙 기반 방식으로 소프트웨어 준수성과 품질을 평가하는 데 도전하는 데 목적이 있다.
• 공식 증명이나 논리적 평가에 대한 의존도를 줄이기 위해 벤치마킹 기반 평가로 대체한다.
• 의미 인식 기반 및 데이터 기반 평가를 지원하는 기호적 규칙 기반 프레임워크를 개발한다.
• 실제 소프트웨어 품질 벤치마킹 맥락에서 KARB 접근 방식의 효과성을 평가한다. 특히 모바일 메신저 애플리케이션의 맥락에서 중점을 둔다.
• 하이브리드 규칙 기반 방법이 고립된 접근 방식보다 더 정확한 품질 점수 추정을 가능하게 한다는 것을 입증한다.

제안 방법

• KARB 솔루션은 소프트웨어 시스템의 기호적 사양을 준수성 및 품질 평가의 입력으로 사용한다.
• 준수성 평가를 위한 의미 논리를 나타내는 사전 정의된 기호 규칙 세트를 적용한다.
• 의미 인식 분석과 데이터 기반 기법을 통합하여 DD-KARB 하이브리드 모델을 구성한다.
• 실제 데이터와 품질 메트릭을 사용하여 이란 메신저 앱(IR-QUMA)에 대한 사례 연구를 수행한다.
• 규칙을 적용하여 시스템 동작과 준수 이상 현상을 분석하며, 사용자 중심의 품질 특성에 중점을 둔다.
• 하이브리드 접근 방식은 규칙 기반 기호 추론과 경험적 데이터를 융합하여 추정 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 규칙 기반 벤치마킹이 준수성 및 품질 평가에서 공식 증명을 효과적으로 대체할 수 있는가?
• RQ2 의미 인식 기반 및 데이터 기반 구성 요소의 통합이 소프트웨어 시스템의 품질 추정에 어떻게 기여하는가?
• RQ3 DD-KARB 하이브리드 모델이 품질 벤치마킹에서 단독 규칙 기반 또는 데이터 기반 방법보다 얼마나 뛰어나게 성능을 발휘하는가?
• RQ4 기호적 규칙 시스템은 실생활 소프트웨어 애플리케이션에서 준수 이상 현상을 탐지하고 완화할 수 있는가?
• RQ5 KARB 프레임워크는 모바일 메신저 애플리케이션의 사용자 품질 점수 추정에서 얼마나 정확한가?

주요 결과

• DD-KARB 하이브리드 방법은 단독 규칙 기반 또는 데이터 기반 방법보다 사용자 품질 점수 추정에서 뛰어난 성능을 보였다.
• 의미 규칙과 경험적 데이터의 통합은 IR-QUMA 사례 연구에서 더 견고하고 정확한 벤치마킹 결과를 이끌어냈다.
• KARB 프레임워크는 기호적 규칙 평가를 통해 준수 이상 현상을 성공적으로 탐지하고 완화하였다.
• 결과는 규칙 기반 벤치마킹이 공식 증명 기반 준수 평가의 실용적이고 효과적인 대안이 될 수 있음을 시사한다.
• 사례 연구는 하이브리드 접근 방식이 실생활에서 소프트웨어 품질의 더 세밀하고 신뢰할 수 있는 추정을 제공한다는 것을 확인했다.