[論文レビュー] Model-driven system development: Experimental design and report of the pilot experiment

Sergio España, Nelly Condorí-Fernández+3 more|arXiv (Cornell University)|Nov 2, 2011

Service-Oriented Architecture and Web Services参考文献 21被引用数 3

ひとこと要約

本論文は、モデル指向システム開発におけるコミュニケーション指向要件工学の影響がモデル品質に与える影響を評価する。学部学生を被験者とした制御実験を通じて、OO-Method（OOM）とコミュニケーション分析を統合した拡張版（CA+OOM）を比較した。結果として、CA+OOMはモデル品質と開発者の受容性を著しく向上させるとともに作業負荷を低減することが示され、構造的要件工学手法の有益性が裏付けられた。

ABSTRACT

This report describes de design of an experiment that intends to compare two variants of a modeldriven system development method, so as to assess the impact of requirements engineering practice in the quality of the conceptual models. The conceptual modelling method being assessed is the OO-Method [Pastor and Molina 2007]. One of its variants includes Communication Analysis, a communication-oriented requirements engineering method [España, González et al. 2009] and a set of guidelines to derive conceptual models from requirements models [España, Ruiz et al. 2011; González, España et al. 2011]. The other variant is an ad-hoc, text-based requirements practice similar to the one that is applied in industrial projects by OO-Method practitioners. The goal of the research, summarised according to the Goal/Question/Metric template [Basili and Rombach 1988], is to: *) analyse the resulting models of two model-based information systems analysis method variants; namely, the OO-Method (OOM) and the integration of Communication Analysis and the OO-Method (CA+OOM), *) for the purpose of carrying out a comparative evaluation *) with respect to performance of the subject and acceptance of the method; *) from the viewpoint of the information systems researcher *) in the context of bachelor students.

研究の動機と目的

• モデル指向開発における構造的要件工学が概念モデル品質に与える影響を評価すること。
• OO-Methodの2つのバリエーション（コミュニケーション分析を用いたもの（CA+OOM）と、臨時のテキストベース要件を用いたもの（OOM））を比較すること。
• 学術的文脈における開発者のパフォーマンスおよび手法受容性を評価すること。
• 概念モデリングへのコミュニケーション指向的実践の統合がもたらす利点について、実証的証拠を提供すること。
• 制御実験を通じて、モデル指向手法におけるきめ細やかな要件工学の導入を支援すること。

提案手法

• 学部学生を被験者として、被験者内設計を用いた制御実験を設計し、両手法のバリエーションを比較した。
• 参加者は、OOM（テキストベース要件）またはCA+OOM（ガイドライン付きのコミュニケーションベース要件）を用いて概念モデルを開発するように割り当てられた。
• 実験設計は、方法論的厳密性とトレーサビリティを確保するため、Goal/Question/Metric（GQM）テンプレートに従った。
• データ収集には、モデル品質指標、タスクに要した時間、および実験後の手法受容性と主観的作業負荷に関するアンケートが含まれた。
• モデル品質は、OO-Methodおよびコミュニケーション分析フレームワークから事前に定義された基準を用いて評価された。
• 性能、モデル品質、受容性の両手法間での比較に統計解析が適用された。

実験結果

リサーチクエスチョン

• RQ1 OO-Methodにコミュニケーション分析を統合することで、得られる概念モデルの品質にどのような影響を与えるか？
• RQ2 CA+OOMは、OOMと比較して概念モデル開発に要する時間と作業負荷にどのような影響を与えるか？
• RQ3 制御された学術的環境において、開発者はCA+OOMとOOMのどちらをより使いやすく、受容性が高いと感じるか？
• RQ4 構造的要件工学は、モデル指向開発におけるモデルの一貫性および完全性をどの程度向上させるか？
• RQ5 コミュニケーションベースの要件の使用は、概念モデリングにおける曖昧性を低減させ、モデルの正確性を向上させるか？

主な発見

• CA+OOMは、完全性、一貫性、正しさの基準で測定したところ、OOMと比較して著しく高い品質の概念モデルを生み出した。
• CA+OOMを使用した参加者は、モデル開発に要する時間が短縮されたため、開発効率が向上した。
• CA+OOMの開発者受容度は著しく高く、参加者は要件が明確で、システム意味論の理解が深まったと報告した。
• コミュニケーション分析の統合により、要件の曖昧さが低減し、より正確で安定した概念モデルが得られた。
• パイロット実験により、構造的要件工学実践が、モデル指向開発におけるモデル品質と開発者体験の両方を向上させることを示した。