[論文レビュー] On the Impact of the Model-based Representation of Inconsistencies to Manual Reviews: Results from a Controlled Experiment - Extended Version

Marian Daun, Jennifer Brings+1 more|arXiv (Cornell University)|Jul 10, 2017

Software Engineering Research参考文献 36被引用数 6

ひとこと要約

本研究では、制約の不整合性を扱う2つのモデルベースの表現方法——別々の図と注釈を含む統合図——を、制御された実験を通じて評価した。結果は、統合図が有効性を損なわずレビュー効率を顕著に向上させることを示しており、不整合性の特定を簡素化するための手動要件レビューにおけるその利用を支持する。

ABSTRACT

To ensure fulfilling stakeholder wishes, it is crucial to validate the documented requirements. This is often complicated by the fact that the wishes and intentions of different stakeholders are somewhat contradictory, which manifests itself in inconsistent requirements. To aid requirements engineers in identifying and resolving inconsistent requirements, we investigated the usefulness for manual reviews of two different model-based representation formats for inconsistent requirements; one that represent the inconsistent requirements in separate diagrams and one that represents them integrated into one diagram using annotations. The results from a controlled experiment show that the use of such integrated review diagrams can significantly increase efficiency of manual reviews, without sacrificing effectiveness.

研究の動機と目的

• 異なるモデルベース表現が不整合要件の手動レビュープロセスに与える影響を調査すること。
• 不整合性を特定する際の、別々の図と注釈を含む統合図の両形式における効率性と有効性を比較すること。
• モデルベース表現が、対立するステークホルダーの希望をより効果的に解決するのを要件エンジニアリングが支援できるかどうかを評価すること。
• 可視化形式が要件工学における手動レビューのパフォーマンスに与える影響について、実証的証拠を提供すること。

提案手法

• ソフトウェア工学の実務者を対象に、2つの可視化形式（別々の図と注釈を含む統合図）を比較する制御実験を実施した。
• 2つのモデルベース表現を設計した：1つは不整合要件に別々の図を使用し、もう1つは視覚的注釈を用いて不整合を1つの図に統合したものである。
• 両形式におけるレビュー時間、検出された不整合数、レビューの正確性のデータを収集した。
• 両形式間のパフォーマンス指標を比較するために、統計的分析を用いた。
• 現実的なレビュー条件を確保するため、要件工学の経験を持つ参加者を選定した。
• 生態的妥当性を確保するため、実世界の要件シナリオを標準化したレビュー課題に使用した。

実験結果

リサーチクエスチョン

• RQ1 注釈を含む統合図を用いることで、別々の図に比べて手動レビューの効率が向上するか？
• RQ2 不整合の検出という観点で測定した際の手動レビューの有効性は、統合図を用いることで保持されたり向上したりするか？
• RQ3 異なるモデルベース表現は、不整合要件の手動レビューに要する時間にどのように影響するか？
• RQ4 参加者は、不整合性の特定において、別々の図よりも統合図をどれほどより役立つと感じているか？

主な発見

• 注釈を含む統合図は、別々の図に比べてレビュー時間を顕著に短縮した。これは、効率性の向上を示している。
• 統合図を用いた場合でも、不整合の検出率は高く維持された。これは、有効性に損なわれがないことを示している。
• 参加者は、不整合性の特定において、統合図を用いることでより高い使いやすさと明確さを感じた。
• 結果から、統合モデルベース表現は、正確性を損なわず、より高速で直感的な手動レビューを支援することが示唆された。
• 統計的分析により、統合図形式がレビュー効率において顕著に優位であることが確認された。
• 本研究は、不整合の統合的可視化表現が、要件工学における手動レビュープロセスを強化することを実証的証拠で示している。