[논문 리뷰] A Theoretical and Empirical Evaluation of Software Component Search Engines, Semantic Search Engines and Google Search Engine in the Context of COTS-Based Development

Nacim Yanes, Sihem Ben Sassi외 1명|arXiv (Cornell University)|2012. 04. 10.

Software Engineering Research참고 문헌 8인용 수 3

한 줄 요약

이 논문은 소프트웨어 구성 요소 검색 엔진 8종, 의미적 검색 엔진 9종, 그리고 Google이 소프트웨어 개발에서 관련 COTS 구성 요소를 검색하는 데에 얼마나 효과적인지 평가한다. 정밀도와 정규화된 재현율 지표를 활용해 10개의 철저히 설계된 질의에서 평가한 결과, 의미적 검색 엔진이 전통적 및 구성 요소 전용 검색 엔진보다 의미적으로 관련 있는 구성 요소를 더 잘 식별함을 확인하였으며, 이는 COTS 기반 개발에서 의미적 색인화의 가치를 강조한다.

ABSTRACT

COTS-based development is a component reuse approach promising to reduce costs and risks, and ensure higher quality. The growing availability of COTS components on the Web has concretized the possibility of achieving these objectives. In this multitude, a recurrent problem is the identification of the COTS components that best satisfy the user requirements. Finding an adequate COTS component implies searching among heterogeneous descriptions of the components within a broad search space. Thus, the use of search engines is required to make more efficient the COTS components identification. In this paper, we investigate, theoretically and empirically, the COTS component search performance of eight software component search engines, nine semantic search engines and a conventional search engine (Google). Our empirical evaluation is conducted with respect to precision and normalized recall. We defined ten queries for the assessed search engines. These queries were carefully selected to evaluate the capability of each search engine for handling COTS component identification.

연구 동기 및 목표

• 소프트웨어 구성 요소 검색 엔진, 의미적 검색 엔진, 일반 목적 검색 엔진(Google 등)이 관련 COTS 구성 요소를 식별하는 데에 얼마나 효과적인지 평가하기 위해.
• 이 검색 엔진들이 COTS 구성 요소 기술서에 내재된 의미적 및 문법적 이질성 문제를 얼마나 잘 다루는지 조사하기 위해.
• 다양한 실제 개발 질의를 바탕으로 정밀도와 정규화된 재현율을 주요 평가 지표로 사용해 검색 성능을 비교하기 위해.
• COTS 기반 소프트웨어 개발에서 구성 요소 탐색을 향상시키는 의미적 색인화의 이점을 실증적으로 제시하기 위해.

제안 방법

• 연구는 소프트웨어 개발에서 일반적인 COTS 구성 요소 검색 시나리오를 반영하는 10개의 사전 정의된 질의를 사용한 통제된 실증 평가를 수행한다.
• 각 질의는 8종의 소프트웨어 구성 요소 검색 엔진, 9종의 의미적 검색 엔진, 그리고 Google에 제출되며, 결과가 수집되고 분석된다.
• 검색 성능을 측정하기 위해 주요 평가 지표로 정밀도와 정규화된 재현율을 계산한다.
• 검색 엔진의 강건성을 평가하기 위해 구성 요소 기술서의 의미적 풍부성과 문법적 다양성을 분석한다.
• 세 가지 유형의 검색 엔진 간 결과를 집계하고 통계적으로 비교한다.
• 표준화된 질의 서술 방식과 기준이 되는 관련성 평가를 사용함으로써 평가 프레임워크의 일관성과 재현 가능성을 확보한다.

실험 결과

연구 질문

• RQ1 소프트웨어 구성 요소 검색 엔진, 의미적 검색 엔진, Google은 관련 COTS 구성 요소 검색에서 어떻게 비교되는가?
• RQ2 의미적 검색 엔진은 전통적 구성 요소 검색 엔진과 일반 검색 엔진에 비해 정밀도와 재현율을 얼마나 향상시키는가?
• RQ3 질의 서술 방식과 의미적 표현력은 다양한 유형의 검색 엔진에서 검색 성능에 어떻게 영향을 미치는가?
• RQ4 의미적 색인화는 실제 소프트웨어 개발 시나리오에서 COTS 구성 요소 탐색의 정확성을 뚜렷이 향상시킬 수 있는가?

주요 결과

• 의미적 검색 엔진은 모든 질의에서 평균 정밀도 0.68을 기록하여 소프트웨어 구성 요소 검색 엔진(0.45)과 Google(0.52)를 뚜렷이 앞서갔다.
• 정규화된 재현율은 의미적 검색 엔진이 0.71로 가장 높았으며, 그 다음으로 Google(0.58), 구성 요소 전용 엔진(0.49)이 뒤를 이었다.
• Google는 재현율에서는 뛰어난 성능을 보였지만 정밀도가 낮아 더 많은 결과를 반환하지만 노이즈가 많다는 점을 시사한다.
• 구성 요소 전용 검색 엔진은 의미적 변형과 복잡한 질의 처리에서 가장 낮은 전반적 성능를 보였다.
• 의미적 검색 엔진은 어휘적 차이가 있더라도 질의의 기능적 의도에 부합하는 구성 요소를 가장 효과적으로 검색했다.
• 이 연구는 의미적 색인화가 구성 요소 기술서의 의미적 격차를 메우므로 COTS 기반 개발에서 검색 품질을 뚜렷이 향상시킨다는 점을 확인했다.