[논문 리뷰] A Survey on the Evaluation of Clone Detection Performance and Benchmarking

Jeffrey Svajlenko, Chanchal K. Roy|arXiv (Cornell University)|2020. 06. 28.

Software Engineering Research참고 문헌 257인용 수 10

한 줄 요약

이 논문은 소프트웨어 공학 분야에서 클론 검출 도구 평가, 벤치마크 관행 및 실증적 검증 방법에 대한 종합적인 서베이를 제시한다. 184개의 클론 검출 도구를 분석하고, 재현율, 정밀도, 실행 시간, 확장성 등의 성능 지표를 사용해 성능을 평가하며, 현재 평가 관행의 핵심적 결함을 규명하고, 연구 품질과 재현 가능성을 향상시키기 위해 표준화된 벤치마크와 철저한 실증적 검증을 주장한다.

ABSTRACT

There are a great many clone detection tools proposed in the literature. In this paper, we investigate the state of clone detection tool evaluation. We begin by surveying the clone detection benchmarks, and performing a multi-faceted evaluation and comparison of their features and capabilities. We then survey the existing clone detection tool and technique publications, and evaluate how the authors of these works evaluate their own tools/techniques. We rank the individual works by how well they measure recall, precision, execution time and scalability. We select the works the best evaluate all four metrics as exemplars that should be considered by future researchers publishing clone detection tools/techniques when designing the empirical evaluation of their tool/technique. We measure statistics on tool evaluation by the authors, and find that evaluation is poor amongst the authors. We finish our investigation into clone detection evaluation by surveying the existing tool comparison studies, including both the qualitative and quantitative studies.

연구 동기 및 목표

• 클론 검출 도구 평가 및 벤치마크가 소프트웨어 공학 연구에서 어떤 상태에 있는지 조사하기.
• 저자들이 재현율, 정밀도, 실행 시간, 확장성 측정 방식에서 클론 검출 도구를 평가할 때 나타나는 결함을 특정하기.
• 기존 클론 검출 벤치마크의 품질, 완전성 및 표준화된 도구 비교에 적합한지를 평가하기.
• 도구 비교 연구를 분석하고, 향후 연구에 모범이 될 수 있는 고품질이고 철저한 평가를 식별하기.
• 최선의 실천 방법을 규명하고, 클론 검출 연구 분야에서 일관되고 종합적인 실증적 검증을 주장함으로써 평가 기준을 향상시키기.

제안 방법

• 2017년 이전에 출판된 문헌에 등재된 184개의 클론 검출 도구 및 기법을 체계적으로 서베이했다.
• 재현율, 정밀도, 실행 시간, 확장성의 네 가지 핵심 성능 지표를 기반으로 각 도구를 평가했다.
• 벤치마크에서 사용된 기준 코퍼스와 오라클 메커니즘을 분석하여 평가 결과의 타당성과 신뢰성을 평가했다.
• 디자인, 범위, 평가 기준을 기준으로 10개의 주요 클론 검출 벤치마크(예: Bellon’s, BigCloneBench, ForkSim)를 분류하고 비교했다.
• 도구 저자들의 평가 관행을 서베이하여, 메트릭 사용 빈도, 평가 범위, 메트릭 간 상관관계를 분석했다.
• 향후 연구 및 동료 검토의 모델이 될 수 있는 철저한 다중 메트릭 평가를 수행한 사례를 식별했다.

실험 결과

연구 질문

• RQ1 클론 검출에 사용되는 현재의 벤치마크는 무엇이며, 설계, 커버리지, 품질 측면에서 어떻게 비교할 수 있는가?
• RQ2 클론 검출 도구 저자들은 재현율, 정밀도, 실행 시간, 확장성 측면에서 현재 도구를 어떻게 평가하고 있는가?
• RQ3 클론 검출 연구 논문들 사이에서 평가 관행이 어느 정도 표준화되거나 철저한가?
• RQ4 클론 검출 평가 및 도구 비교 연구의 타당성에 대한 주요 위협은 무엇인가?
• RQ5 어떤 연구가 클론 검출 도구에 대한 고품질이고 종합적인 평가의 모범 사례로 작용할 수 있는가?

주요 결과

• 클론 검출 도구 논문 중에서 재현율, 정밀도, 실행 시간, 확장성의 네 가지 핵심 메트릭을 모두 종합적으로 평가하는 논문은 10퍼센트 미만이다.
• 많은 도구 저자들이 비공식적이거나 불완전한 평가에 의존하며, 정밀도나 확장성 측정을 생략하는 경우가 많아, 성능 향상 주장의 신뢰성을 떨어뜨린다.
• 가장 철저한 평가는 BigCloneBench와 Bellon’s Benchmark를 사용한 연구에서 발견되었으며, 이들은 잘 구성된 수작업 검증 기반 기준 코퍼스를 제공한다.
• 표준화된 벤치마크의 부족함이 역사적으로는 알고리즘적 신규성에 따라 신규 도구가 수용되는 경향이 있었음을 시사한다.
• 고품질의 도구 비교 연구는 소수에 불과하지만, 다중 메트릭 기반, 재현 가능한 평가는 가능하며 연구의 신뢰성을 확보하기 위해 필수적임을 보여준다.
• Falke 등과 Qu 등이 수행한 모범 사례 연구는 다중 메트릭과 기준 코퍼스를 활용한 철저한 평가를 통해 향후 연구의 기준을 설정하고 있다.