[論文レビュー] KARB Solution: Compliance to Quality by Rule Based Benchmarking

MohammadReza Besharati, Mohammad Izadi|arXiv (Cornell University)|Jul 11, 2020

Advanced Software Engineering Methodologies参考文献 108被引用数 9

ひとこと要約

本論文は、記号的仕様と意味的ルールを使用してソフトウェアの適合性と品質を評価するルールベース手法であるKARB（Keeping away Compliance Anomalies by Rule-based Benchmarking）を提案する。インド・ミッションアプレーション（IR-QUMA）を対象とした事例研究を通じて、意味的認識ありとデータ駆動型技術を組み合わせたハイブリッドDD-KARBアプローチが、単独での手法よりもより効果的かつ正確にユーザ品質スコアを推定できることを示している。

ABSTRACT

Instead of proofs or logical evaluations, compliance assessment could be done by benchmarking. Benchmarks, in their nature, are applied. So a set of benchmarks could shape an applied solution for compliance assessment. In this paper, we introduce the KARB solution: Keeping away compliance Anomalies by Rule-based Benchmarking. By rule-based benchmarking, we mean evaluation of under-compliance-system by its symbolic specification and by using a set of symbolic rules (on behalf of semantic logic of evaluation). In order to demonstrate and investigate the manner of KARB solution, we conducted a case study. The IR-QUMA study (Iranian Survey on Quality in Messenger Apps) is defined to evaluate the quality of some messenger apps. the results of evaluations suggest that the Hybrid Method of DD-KARB (with combination of semantics-awareness and data-drivenness) is more effective than solo-methods and could compute a somehow good estimation for messenger-apps user quality scores. So DD-KARB could be considered as a method for quality benchmarking in this technical context.

研究の動機と目的

• 実用的でスケーラブルかつルールベースの方法でソフトウェアの適合性と品質を評価する課題に取り組むこと。
• 形式的証明や論理的評価に依存することを減らし、ベンチマーク駆動の評価に置き換えること。
• 意味的認識ありとデータ駆動型評価を支援する記号的でルールベースのフレームワークを構築すること。
• KARBアプローチの実世界におけるソフトウェア品質ベンチマーキングにおける有効性を評価すること、特にモバイルメッセンジャーアプリの文脈において。
• ハイブリッドルールベース手法が、独立したアプローチよりもより正確な品質スコア推定をもたらすことを示すこと。

提案手法

• KARBソリューションは、適合性と品質評価の入力としてソフトウェアシステムの記号的仕様を使用する。
• 適合性評価のための意味論的論理を表す事前に定義された記号的ルールのセットを適用する。
• 意味的認識あり分析とデータ駆動型技術を統合して、DD-KARBハイブリッドモデルを構築する。
• 実世界のデータと品質メトリクスを用いて、イランのメッセンジャーアプリ（IR-QUMA）を対象とした事例研究を通じて評価を実施する。
• ルールを適用してシステム動作と適合性の異常を分析し、ユーザ中心の品質属性に焦点を当てる。
• ハイブリッドアプローチは、ルールベースの記号的推論と実証的データを組み合わせることで、推定の正確性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ルールベースのベンチマーキングは、適合性と品質評価において形式的証明を効果的に代替できるか？
• RQ2 意味的認識ありとデータ駆動型コンponentsの統合は、ソフトウェアシステムにおける品質推定をどのように改善するか？
• RQ3 DD-KARBハイブリッドモデルは、単独のルールベースまたはデータ駆動型手法に比べて、品質ベンチマーキングでどの程度優れているか？
• RQ4 記号的ルールシステムは、実世界のソフトウェアアプリケーションにおける適合性の異常を検出し、是正できるか？
• RQ5 KARBフレームワークは、モバイルメッセンジャーアプリのユーザ品質スコア推定においてどの程度正確か？

主な発見

• DD-KARBハイブリッド手法は、単独のルールベースまたはデータ駆動型手法に比べ、ユーザ品質スコアの推定において優れた性能を示した。
• 意味的ルールと実証的データの統合により、IR-QUMA事例研究においてより強固で正確なベンチマーキング結果が得られた。
• KARBフレームワークは、記号的ルール評価を通じて適合性の異常を効果的に特定・是正した。
• 結果から、ルールベースのベンチマーキングは形式的証明に基づく適合性評価の代替として実用的かつ効果的であると考えられる。
• 事例研究により、ハイブリッドアプローチが実際のソフトウェア品質評価において、より洗練され信頼性の高い品質推定を提供することが確認された。