[论文解读] A Theoretical and Empirical Evaluation of Software Component Search Engines, Semantic Search Engines and Google Search Engine in the Context of COTS-Based Development

Nacim Yanes, Sihem Ben Sassi+1 more|arXiv (Cornell University)|Apr 10, 2012

Software Engineering Research参考文献 8被引用 3

一句话总结

本文评估了八种软件组件搜索引擎、九种语义搜索引擎以及 Google 在检索软件开发中相关 COTS 组件方面的有效性。通过使用十个精心设计的查询，结合精确率和归一化召回率指标，研究发现语义搜索引擎在识别语义相关的组件方面优于传统搜索引擎和专用组件搜索引擎，凸显了在基于 COTS 的开发中语义索引的价值。

ABSTRACT

COTS-based development is a component reuse approach promising to reduce costs and risks, and ensure higher quality. The growing availability of COTS components on the Web has concretized the possibility of achieving these objectives. In this multitude, a recurrent problem is the identification of the COTS components that best satisfy the user requirements. Finding an adequate COTS component implies searching among heterogeneous descriptions of the components within a broad search space. Thus, the use of search engines is required to make more efficient the COTS components identification. In this paper, we investigate, theoretically and empirically, the COTS component search performance of eight software component search engines, nine semantic search engines and a conventional search engine (Google). Our empirical evaluation is conducted with respect to precision and normalized recall. We defined ten queries for the assessed search engines. These queries were carefully selected to evaluate the capability of each search engine for handling COTS component identification.

研究动机与目标

• 评估软件组件搜索引擎、语义搜索引擎以及通用搜索引擎（如 Google）在识别相关 COTS 组件方面的有效性。
• 研究这些搜索引擎在处理 COTS 组件描述中固有的语义和句法异构性方面的表现。
• 通过精确率和归一化召回率等关键指标，比较在多样化的真实开发查询中检索性能的表现。
• 为语义索引在提升基于 COTS 的软件开发中组件发现能力方面的优势提供实证证据。

提出的方法

• 本研究采用受控的实证评估方法，使用十个预定义的查询，代表了软件开发中典型的 COTS 组件搜索场景。
• 每个查询分别提交给八种软件组件搜索引擎、九种语义搜索引擎以及 Google，结果被收集并分析。
• 精确率和归一化召回率作为主要评估指标，用于衡量检索效果。
• 对组件描述进行语义丰富度和句法差异分析，以评估搜索引擎的鲁棒性。
• 将三类搜索引擎的结果进行聚合，并进行统计比较。
• 通过使用标准化的查询表述和真实相关性判断，确保评估框架的一致性和可复现性。

实验结果

研究问题

• RQ1 软件组件搜索引擎、语义搜索引擎和 Google 在检索相关 COTS 组件方面如何比较？
• RQ2 与传统组件搜索引擎和通用搜索引擎相比，语义搜索引擎在精确率和召回率方面提升了多少？
• RQ3 查询表述方式和语义表达力如何影响不同类型搜索引擎的检索性能？
• RQ4 语义索引是否能显著提升真实软件开发场景中 COTS 组件发现的准确性？

主要发现

• 语义搜索引擎在所有查询上的平均精确率达到最高（0.68），显著优于软件组件搜索引擎（0.45）和 Google（0.52）。
• 归一化召回率最高的是语义搜索引擎（0.71），其次是 Google（0.58）和组件专用引擎（0.49）。
• Google 在召回率方面表现强劲，但精确率较低，表明其检索结果更多但噪声也更高。
• 组件专用搜索引擎整体表现最差，尤其在处理语义变体和复杂查询方面表现不足。
• 语义搜索引擎在即使存在词汇差异的情况下，仍最有效地检索出与查询功能意图匹配的组件。
• 本研究证实，语义索引能显著提升基于 COTS 的开发中检索质量，有效弥合组件描述中的语义鸿沟。