[논문 리뷰] Evaluating Semantic Representations of Source Code

Yaza Wainakh, Moiz Rauf외 1명|arXiv (Cornell University)|2019. 09. 25.

Software Engineering Research참고 문헌 26인용 수 5

한 줄 요약

이 논문은 소스 코드 식별자에 대한 의미 표현을 평가하기 위해 500명의 개발자 평가를 기반으로 한 IdBench를 소개한다. 분석 결과, 최상위 임베딩은 의미적 유사성은 합리적으로 잘 반영하지만, 의미적 유사성을 충분히 표현하지 못하며, 종종 반대 의미의 식별자를 유사하게 취급함으로써 후속 도구에서 오류를 일으킬 위험이 있음을 밝혀냈다.

ABSTRACT

Learned representations of source code enable various software developer tools, e.g., to detect bugs or to predict program properties. At the core of code representations often are word embeddings of identifier names in source code, because identifiers account for the majority of source code vocabulary and convey important semantic information. Unfortunately, there currently is no generally accepted way of evaluating the quality of word embeddings of identifiers, and current evaluations are biased toward specific downstream tasks. This paper presents IdBench, the first benchmark for evaluating to what extent word embeddings of identifiers represent semantic relatedness and similarity. The benchmark is based on thousands of ratings gathered by surveying 500 software developers. We use IdBench to evaluate state-of-the-art embedding techniques proposed for natural language, an embedding technique specifically designed for source code, and lexical string distance functions, as these are often used in current developer tools. Our results show that the effectiveness of embeddings varies significantly across different embedding techniques and that the best available embeddings successfully represent semantic relatedness. On the downside, no existing embedding provides a satisfactory representation of semantic similarities, e.g., because embeddings consider identifiers with opposing meanings as similar, which may lead to fatal mistakes in downstream developer tools. IdBench provides a gold standard to guide the development of novel embeddings that address the current limitations.

연구 동기 및 목표

• 소스 코드 식별자 임베딩을 평가하기 위한 표준화되고 편향이 없는 평가 프레임워크의 부족을 해결하기 위해.
• 기존 임베딩 기법이 소스 코드 내 의미적 연관성과 유사성을 얼마나 잘 반영하는지 측정하기 위해.
• 현재 임베딩의 한계, 특히 의미적으로 반대되는 식별자를 유사하게 취급하는 경향을 특정하기 위해.
• 향후 개선된 코드 임베딩 개발을 안내하기 위한 골드스탠다드 벤치마크를 제공하기 위해.

제안 방법

• 수천 개의 식별자 쌍에 대해 500명의 소프트웨어 개발자로부터 의미적 연관성과 유사성 평가를 수집함.
• 대규모이고 인간이 주석 처리한 벤치마크로서 IdBench를 설계함.
• 벤치마크에서 최신 자연어 처리 임베딩, 코드 전용 임베딩, 그리고 어휘적 문자열 거리 함수를 평가함.
• 인간 주석 평가와의 상관관계 기반 메트릭을 사용해 임베딩 유사성 점수를 비교함.
• 임베딩 출력과 인간 평가 간의 괴리를 분석하여 체계적 실패 원인을 규명함.

실험 결과

연구 질문

• RQ1 기존의 코드 식별자 임베딩은 인간 개발자가 평가한 의미적 연관성을 얼마나 잘 반영하는가?
• RQ2 어떤 정도로 임베딩 기법이 의미적으로 반대되는 식별자를 구분하지 못하는가?
• RQ3 코드 전용 임베딩은 일반 목적의 자연어 처리 임베딩에 비해 코드 의미를 얼마나 잘 포착하는가?
• RQ4 학습된 임베딩에 비해 어휘적 문자열 거리 함수는 의미 유사성 표현에서 어떤 성능을 보이는가?

주요 결과

• 가장 성능이 뛰어난 임베딩은 의미적 연관성에 대해 인간 평가와 중간 정도의 상관관계를 보였지만, 유사성에 대해서는 높은 정확도를 확보하지 못함.
• 많은 임베딩이 의미적으로 반대되는 식별자를 잘못 유사하게 평가하여 후속 도구에서 오류를 일으킬 위험이 있음.
• 코드 전용 임베딩은 일반 목적의 NLP 임베딩보다 코드 의미를 더 잘 포착하지만, 여전히 심각한 한계를 보임.
• 학습된 임베딩에 비해 어휘적 문자열 거리 함수는 특히 의미 유사성 작업에서 떨어지는 성능을 보임.
• 벤치마크는 현재 임베딩 모델에서 의미적 반대를 다룰 때 체계적인 편향이 있음을 드러냄.