[논문 리뷰] Smelling out Code Clones: Clone Detection Tool Evaluation and Corresponding Challenges

Rachel Gauci|arXiv (Cornell University)|2015. 03. 02.

Software Engineering Research참고 문헌 4인용 수 3

한 줄 요약

이 논문은 클론 탐지 도구의 평가를 평가하며, 기준 문서 집합 부족, 설정 민감도, 잘못된 벤치마크와 같은 평가 과정의 도전 과제를 규명한다. 이 논문은 적합도 함수를 사용해 도구의 최적 설정을 자동으로 결정하는 EvaClone 프레임워크를 제안하며, 자바 시스템에서는 최대 21.9% 향상된 재현율과 정밀도를, C 시스템에서는 최대 10.6% 향상된 성능을 기록함으로써 비교 연구의 타당성을 향상시킨다.

ABSTRACT

Software clones have been an active area of research for the past two decades. However, although numerous clone detection tools are now available, only a small fraction of the literature has focused on tool evaluation, and this is in fact still an open problem. This is mostly due to the fact that standard information retrieval metrics such as recall and precision require a priori knowledge of clones already in the system. Detection tools also typically have a large number of parameters which are difficult to fine-tune for optimal performance on a particular software system, and different outputs produced by different tools add to the complexity of comparing one tool to another. In this review, we further explore the reasons why tool evaluation is still an open challenge, and present the current tools and frameworks targeted at mitigating these problems, focusing on the current standard benchmarks used to evaluate modern clone detection tools, and also presenting a recent method aimed at finding optimal tool configurations.

연구 동기 및 목표

• 클론 탐지 도구 평가의 지속적인 과제를 조사한다. 특히 기준 문서 집합 부족과 설정 민감도로 인한 영향을 중심으로 한다.
• Bellon의 프레임워크와 변형 및 삽입 프레임워크와 같은 기존 벤치마크가 도구 간 유효한 비교를 보장하는 데에 한계가 있음을 평가한다.
• EvaClone을 제안하고 평가하며, 이는 클론 탐지 도구의 최적 설정 파rameter를 자동으로 식별함으로써 평가 신뢰도를 향상시킨다.
• 기본 설정이 도구 평가에서 성능을 심각하게 떨어뜨리며, 최적 튜닝을 통해 재현율과 정밀도를 크게 향상시킬 수 있음을 입증한다.
• 표준화되고 대표적인 벤치마크와 재현율과 정밀도를 균형 있게 고려하는 적합도 함수의 필요성을 강조한다.

제안 방법

• 클론 탐지 평가를 위한 기준 문서 집합을 생성하기 위해 Bellon의 프레임워크와 변형 및 삽입 프레임워크를 표준 벤치마크로 사용한다.
• EvaClone에서 적합도 함수를 적용하여 도구 간 일치도를 최대화함으로써 클론 탐지 도구의 최적 설정 파rameter를 식별한다.
• 다양한 소프트웨어 시스템(예: psql, swing)에서 도구 파arameter를 체계적으로 튜닝하여 탐지 성능을 향상시킨다.
• 기본 설정과 최적 설정을 비교하여 설정 튜닝이 재현율과 정밀도에 미치는 영향을 정량화한다.
• 기존 평가 방법의 타당성 위협을 분석하며, 기본 설정에 대한 과도한 의존성과 재현율을 정밀도보다 우선시하는 적합도 함수의 문제점을 다룬다.
• 오픈소스 시스템을 대상으로 결과를 검증하지만, 기업용 또는 비오픈소스 시스템으로의 일반화 가능성에 대한 잠재적 한계를 인정한다.

실험 결과

연구 질문

• RQ1 70여 개가 넘는 탐지 도구가 존재하는 데도 불구하고, 클론 탐지 도구 평가가 여전히 열린 도전 과제로 남아 있는 이유는 무엇인가?
• RQ2 클론 탐지 도구의 기본 설정이 재현율과 정밀도에 미치는 영향은 어느 정도이며, 이를 어떻게 완화할 수 있는가?
• RQ3 EvaClone 프레임워크는 최적 도구 설정을 식별하는 데 얼마나 효과적인가?
• RQ4 Bellon의 프레임워크와 변형 및 삽입 프레임워크와 같은 기존 벤치마크의 주요 한계는 무엇인가?
• RQ5 도구 간 일치도를 최대화하는 적합도 함수가, 재현율을 높이기 위해 정밀도를 희생시키는 경향이 있어 평가 결과에 편향을 줄 수 있는가?

주요 결과

• 기본 설정이 클론 탐지 도구의 평가 타당성을 심각하게 떨어뜨리며, 최적 설정을 사용할 경우 재현율은 최대 21.9% 향상되고 정밀도는 최대 10.6% 향상됨을 입증하였다.
• EvaClone의 적합도 함수는 도구 간 일치도를 최대화하므로 재현율을 정밀도보다 우선시하는 경향이 있어, 임의의 양성률이 증가할 수 있다.
• Bellon 등이 수행한 연구에서 분석한 14개 도구 중 오직 2개만이 튜닝된 설정으로 제출되어 있어, 기본 설정의 광범위한 사용에도 불구하고 그 성능이 열악함을 시사한다.
• 기본 설정을 사용하는 경험적 연구는, 최적 설정을 사용했을 때 관찰된 성능 향상으로 인해 타당성 위협에 노출되어 있음을 입증하였다.
• Svajlenko 등이 수행한 현대 도구에 대한 연구 결과는, 기본 설정이 아닌 최적 설정을 사용해 평가했더라면 크게 달라졌을 가능성이 있다.
• 다른 진전에도 불구하고, 기존의 벤치마크와 평가 프레임워크는 여전히 오픈소스 시스템에 의존하고 있으며, 산업 소프트웨어로의 일반화 가능성에 한계를 지닌다.