[논문 리뷰] CodeBLEU: a Method for Automatic Evaluation of Code Synthesis

Shuo Ren, Daya Guo외 8명|arXiv (Cornell University)|2020. 09. 22.

Software Engineering Research참고 문헌 27인용 수 185

한 줄 요약

CodeBLEU는 BLEU를 구문적(AST) 및 의미적(데이터 흐름) 매치와 결합한 코드 합성용 새로운 자동 평가 지표를 도입하여 텍스트-코드, 코드 번역, 코드 정제 작업 전반에서 인간 평가와의 상관도를 향상시킵니다.

ABSTRACT

Evaluation metrics play a vital role in the growth of an area as it defines the standard of distinguishing between good and bad models. In the area of code synthesis, the commonly used evaluation metric is BLEU or perfect accuracy, but they are not suitable enough to evaluate codes, because BLEU is originally designed to evaluate the natural language, neglecting important syntactic and semantic features of codes, and perfect accuracy is too strict thus it underestimates different outputs with the same semantic logic. To remedy this, we introduce a new automatic evaluation metric, dubbed CodeBLEU. It absorbs the strength of BLEU in the n-gram match and further injects code syntax via abstract syntax trees (AST) and code semantics via data-flow. We conduct experiments by evaluating the correlation coefficient between CodeBLEU and quality scores assigned by the programmers on three code synthesis tasks, i.e., text-to-code, code translation, and code refinement. Experimental results show that our proposed CodeBLEU can achieve a better correlation with programmer assigned scores compared with BLEU and accuracy.

연구 동기 및 목표

• BLEU를 넘어서는 자동 평가를 개선하고 코드 합성에서의 완전한 정확성에 대한 동기를 제시한다.
• 코드 정확성을 포착하기 위해 표면 매치, 구문 매치, 의미 매치의 가중합으로 CodeBLEU를 제안한다.
• 세 가지 코드 작업에서 사람 프로그래머 점수와의 상관관계를 CodeBLEU로 평가한다.
• CodeBLEU가 BLEU보다 시스템 간 차이를 더 효과적으로 구분하고 인간 점수와의 상관관계를 더 잘 보여 준다는 것을 입증한다.

제안 방법

• CodeBLEU를 네 가지 구성요소의 가중합으로 정의한다: BLEU, 가중 BLEU (BLEU_weight), Match_ast (구문 AST 매치), 그리고 Match_df (의미 데이터 흐름 매치).
• 키워드에 더 높은 가중치를 부여하는 가중된 n-그램 매칭을 도입한다(키워드는 다른 토큰의 5배 가중치를 가진다).
• AST에서 하위 트리를 추출하고 비교하여 구문적 AST 매치를 계산한다(리프는 무시).
• 변수에서 데이터 흐름 그래프를 구성하고 이름을 표준화하여 의미적 데이터 흐름 매치를 계산한 다음 후보 흐름과 기준 흐름을 비교한다.
• 세 가지 작업(text-to-code, code translation, code refinement)에서 피어슨 상관관계를 사용하여 인간 점수와의 상관관계를 평가한다.

실험 결과

연구 질문

• RQ1 CodeBLEU가 여러 코드 합성 작업에서 BLEU보다 인간 평가 점수에 더 강하게 상관하는가?
• RQ2 구문적(AST) 및 의미적(data-flow) 구성요소가 인간 판단과의 정합성에 의미 있게 기여하는가?
• RQ3 다른 코드 작업에서 시스템 간 차별화와 제거 분석(ablation) 분석에서 CodeBLEU의 성능은 어떠한가?

주요 결과

• CodeBLEU는 text-to-code, code translation, code refinement 작업에서 BLEU보다 인간 점수와의 피어슨 상관관계가 더 높게 나타난다.
• ablations 연구는 대부분의 작업에서 AST 및 데이터 흐름 구성요소가 기본 N-그램 매칭보다 인간 판단과의 상관관계에 더 크게 기여함을 시사한다.
• 하이퍼파라미터 분석은 구문적 및 의미적 구성요소에 더 큰 가중치를 주면 상관관계가 향상됨을 시사하며, 실무에서 권장 설정은 대략 alpha=0.25, beta=0.25, gamma=0.25, delta=0.25 이며 또는 마지막 두 구성요소에 더 높은 비중을 두는 것이 좋다.
• CodeBLEU는 BLEU보다 시스템 간 구별을 더 신뢰할 수 있으며, 크고 충분한 테스트 세트의 경우 변동성도 합리적인 범위 내에 있다.