[論文レビュー] CodeBLEU: a Method for Automatic Evaluation of Code Synthesis

Shuo Ren, Daya Guo+8 more|arXiv (Cornell University)|Sep 22, 2020

Software Engineering Research参考文献 27被引用数 185

ひとこと要約

CodeBLEU は、コード合成の自動評価指標として BLEU を構文的（AST）および意味的（データフロー）一致と組み合わせる新しい指標を導入し、text-to-code、code translation、code refinement の3タスクで人間の判断との相関を向上させます。

ABSTRACT

Evaluation metrics play a vital role in the growth of an area as it defines the standard of distinguishing between good and bad models. In the area of code synthesis, the commonly used evaluation metric is BLEU or perfect accuracy, but they are not suitable enough to evaluate codes, because BLEU is originally designed to evaluate the natural language, neglecting important syntactic and semantic features of codes, and perfect accuracy is too strict thus it underestimates different outputs with the same semantic logic. To remedy this, we introduce a new automatic evaluation metric, dubbed CodeBLEU. It absorbs the strength of BLEU in the n-gram match and further injects code syntax via abstract syntax trees (AST) and code semantics via data-flow. We conduct experiments by evaluating the correlation coefficient between CodeBLEU and quality scores assigned by the programmers on three code synthesis tasks, i.e., text-to-code, code translation, and code refinement. Experimental results show that our proposed CodeBLEU can achieve a better correlation with programmer assigned scores compared with BLEU and accuracy.

研究の動機と目的

• BLEU を超える自動評価の改善動機と、コード合成の完全な正確性を目指す。
• 表面的、構文的、意味的マッチの重み付き結合として CodeBLEU を提案し、コードの正確さを捉える。
• 三つのコードタスクにおける人間のスコアとの相関を CodeBLEU で評価する。
• CodeBLEU が BLEU よりシステムを識別しやすく、人間のスコアとより強く相関することを実証する。

提案手法

• CodeBLEU を four components の重み付き和として定義する：BLEU、重み付き BLEU (BLEU_weight)、Match_ast（構文的 AST マッチ）、Match_df（意味的データフロー マッチ）。
• キーワードに高い重みを割り当てる重み付き n-gram マッチングを導入する（キーワードは他のトークンの 5x 重み）。
• AST からサブツリーを抽出して比較し、リーフは無視して構文的 AST マッチを計算する。
• 変数からデータフローグラフを構築し名前を正規化して候補と参照のフローを比較することで意味的データフロー マッチを計算する。
• 人間のスコアとの相関を三つのタスク（text-to-code、code translation、code refinement）で Pearson 相関を用いて評価する。

実験結果

リサーチクエスチョン

• RQ1 CodeBLEU は複数のコード合成タスクにおいて BLEU より人間の評価スコアと強く相関するか。
• RQ2 構文的（AST）および意味的（データフロー）成分は、人間の判断との整合性に有意に寄与するか。
• RQ3 CodeBLEU は異なるコードタスクでシステムを識別する能力やアブレーション分析でどのように機能するか。

主な発見

• CodeBLEU は text-to-code、code translation、code refinement の各タスクで人間のスコアと BLEU より高い Pearson 相関を示す。
• アブレーション研究は、AST およびデータフロー成分が大半のタスクで人間の判断との相関に基本的な n-gram マッチより寄与することを示す。
• ハイパーパラメータ分析は構文的および意味的成分へより多くの重みを与えると相関が改善されることを示し、実務的には alpha=0.25, beta=0.25, gamma=0.25, delta=0.25 付近、または後半2成分の重視を高める設定を推奨。
• CodeBLEU は BLEU よりシステムを識別しやすく、 sizeable test sets での分散も妥当な範囲に収まる。