[論文レビュー] Testing and Evaluation of Service Oriented Systems

Ashish Seth, Himanshu Aggarwal+1 more|arXiv (Cornell University)|Feb 8, 2013

Service-Oriented Architecture and Web Services参考文献 15被引用数 3

ひとこと要約

本稿は、サービス指向アーキテクチャ（SOA）のための既存のテストツールおよび手法を評価し、現在のアプローチにおけるギャップを特定し、SOAシステムを評価するための構造化されたフレームワークを提案する。利用可能なメトリクスとツールを統合し、スケーラビリティ、相互運用性、ツール統合における制限を強調する。最終的に、SOAテストおよび評価分野の研究者および実務家にとって包括的なリファレンスを提供する。

ABSTRACT

Evaluation of service oriented system has been a challenge, though there are large number of evaluation metrics exist but none of them is efficient to evaluate these systems effectively.This paper discusses the different testing tools and evaluation methods available for SOA and summarizes their limitation and support in context of service oriented architectures.

研究の動機と目的

• サービス指向アーキテクチャ（SOA）のための既存のテストツールおよび評価手法を分析・分類すること。
• スケーラビリティ、相互運用性、ツール統合に関する問題を含む、現在のSOAテストアプローチにおける主な制限を同定すること。
• 既存のメトリクスおよびツールに基づいて、SOAシステムを評価するための構造化されたフレームワークを提供すること。
• 研究者および実務家がSOA環境における適切なテスト戦略を選択するのを支援すること。
• 現在の評価実践におけるギャップを強調し、将来のツール開発をガイドすること。

提案手法

• SOAテストおよび評価に関連する既存の文献およびツールに関する体系的レビュー。
• 機能、対応するテストタイプ、統合能力に基づいてテストツールを分類すること。
• SOAで用いられる評価メトリクスの分析を行い、その関連性および有効性を評価すること。
• 自動化の欠如やサービスコンポジションテストの不足を含む、ツール支援における一般的な欠陥の同定。
• 発見事項を統合し、SOAテストおよび評価アプローチを比較するためのフレームワークに構成すること。
• 13ページ、3図、2表を用いて、発見事項を提示し、分析の構造を明確にすること。

実験結果

リサーチクエスチョン

• RQ1 サービス指向システムのための現在利用可能な主なテストツールおよび評価手法は何か？
• RQ2 既存の評価メトリクスは、SOAシステムの品質を評価する上でどれほど効果的か？
• RQ3 スケーラビリティ、相互運用性、ツール統合の観点から、現在のSOAテストツールにおける主な制限は何か？
• RQ4 既存のツールは、SOAにおけるサービスコンポジションのエンドツーエンドテストをどの程度サポートしているか？
• RQ5 SOAシステムの評価およびテストを改善するためのフレームワークやガイドラインはどのように導出できるか？

主な発見

• 単一の評価メトリクスやツールでは、サービス指向システムを完全に評価するには十分ではない。
• 既存のツールは、しばしば異種環境間の統合テストや、サービスコンポジションのエンドツーエンドテストをサポートしていない。
• 相互運用性およびスケーラビリティは、SOAテストにおいて依然として大きな課題であり、ツール支援が限られている。
• 多くの評価メトリクスはドメイン固有であり、異なるSOAデプロイメント環境に普遍的に適用可能ではない。
• SOA用に統合されたテストツールと評価メトリクスを統合する包括的なフレームワークの明確なニーズがある。
• 本稿では、SOA環境における自動レグレッションテストおよびランタイムモニタリングのツール支援の欠落というギャップを同定した。