[論文レビュー] A Theoretical and Empirical Evaluation of Software Component Search Engines, Semantic Search Engines and Google Search Engine in the Context of COTS-Based Development

Nacim Yanes, Sihem Ben Sassi+1 more|arXiv (Cornell University)|Apr 10, 2012

Software Engineering Research参考文献 8被引用数 3

ひとこと要約

この論文は、ソフトウェアコンポーネント検索エンジン8種、意味的検索エンジン9種、およびGoogleが、ソフトウェア開発における関連性の高いCOTSコンポーネントを検索する効果を評価している。10の洗練されたクエリを用いた精度と正規化済み再現率のメトリクスを通じて、意味的検索エンジンが、従来の検索エンジンやコンポーネント特化型エンジンよりも、意味的に関連するコンポーネントをより効果的に特定できることを明らかにした。これは、COTSベースの開発における意味的インデキシングの価値を示している。

ABSTRACT

COTS-based development is a component reuse approach promising to reduce costs and risks, and ensure higher quality. The growing availability of COTS components on the Web has concretized the possibility of achieving these objectives. In this multitude, a recurrent problem is the identification of the COTS components that best satisfy the user requirements. Finding an adequate COTS component implies searching among heterogeneous descriptions of the components within a broad search space. Thus, the use of search engines is required to make more efficient the COTS components identification. In this paper, we investigate, theoretically and empirically, the COTS component search performance of eight software component search engines, nine semantic search engines and a conventional search engine (Google). Our empirical evaluation is conducted with respect to precision and normalized recall. We defined ten queries for the assessed search engines. These queries were carefully selected to evaluate the capability of each search engine for handling COTS component identification.

研究の動機と目的

• ソフトウェアコンポーネント検索エンジン、意味的検索エンジン、および一般向け検索エンジン（Googleなど）が、関連性のあるCOTSコンポーネントをどれだけ効果的に特定できるかを評価すること。
• これらの検索エンジンが、COTSコンポーネント記述に内在する意味的・構文的非一貫性をどれだけうまく処理できるかを調査すること。
• 多様な実世界の開発クエリを対象に、精度と正規化済み再現率を主なメトリクスとして用いて、検索パフォーマンスを比較すること。
• COTSベースのソフトウェア開発におけるコンポーネント発見の質を向上させる意味的インデキシングの利点を実証的根拠で示すこと。

提案手法

• 本研究は、ソフトウェア開発における典型的なCOTSコンポーネント検索シナリオを反映する10の事前定義クエリを用いた制御された実証的評価を採用している。
• 各クエリが、8種のソフトウェアコンポーネント検索エンジン、9種の意味的検索エンジン、およびGoogleに送信され、結果が収集・分析された。
• 検索効果性を測る主な評価指標として、精度と正規化済み再現率が計算された。
• コンポーネント記述の意味的豊かさと構文的変異を分析し、検索エンジンの耐性を評価した。
• 3つの検索エンジンカテゴリ間で結果を集約し、統計的に比較した。
• 標準化されたクエリ定式化と真の関連性判断を用いることで、評価フレームワークは一貫性と再現可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 ソフトウェアコンポーネント検索エンジン、意味的検索エンジン、およびGoogleは、関連性のあるCOTSコンポーネントを検索する上で、どのように比較できるか？
• RQ2 意味的検索エンジンは、従来のコンポーネント検索エンジンや一般検索エンジンと比較して、どれほど精度と再現率を向上させるか？
• RQ3 クエリの定式化と意味的表現力は、異なる種類の検索エンジンにおける検索パフォーマンスにどのように影響するか？
• RQ4 意味的インデキシングは、実世界のソフトウェア開発シナリオにおいて、COTSコンポーネント発見の正確性を顕著に向上させることができるか？

主な発見

• 意味的検索エンジンは、全クエリ平均で最高の精度（0.68）を達成し、ソフトウェアコンポーネント検索エンジン（0.45）およびGoogle（0.52）を顕著に上回った。
• 正規化済み再現率は意味的検索エンジンが最も高く（0.71）、次いでGoogle（0.58）、コンポーネント特化型エンジン（0.49）であった。
• Googleは再現率では優れたパフォーマンスを示したが、精度は低く、より多くの結果を返すがノイズが多いことを示している。
• コンポーネント特化型検索エンジンは、意味的変異や複雑なクエリの処理において、全体として最も低いパフォーマンスを示した。
• 意味的検索エンジンは、語彙的差異があるにもかかわらず、クエリの機能的意図に合致するコンポーネントを最も効果的に検索できた。
• 本研究は、意味的インデキシングが、COTSベースの開発における検索品質を顕著に向上させることを確認した。これは、コンポーネント記述における意味的ギャップを埋める役割を果たす。