[논문 리뷰] Code to Comment "Translation": Data, Metrics, Baselining & Evaluation

David Gros, Hariharan Sezhiyan외 2명|arXiv (Cornell University)|2020. 10. 03.

Natural Language Processing Techniques참고 문헌 61인용 수 7

한 줄 요약

이 논문은 코드-주석 생성을 위한 신경 기계 번역 모델의 사용을 비판적으로 평가하며, 코드 주석이 자연어 텍스트보다 훨씬 더 반복적임을 드러내어 BLEU 점수가 과도하게 높아지는 원인를 밝혀냈다. 간단한 정보 검색 기반의 베이스라인 모델이 종종 최첨단 딥러닝 모델보다 뛰어난 성능을 보이며, 이는 현재 분야의 평가 방식의 타당성을 도전한다.

ABSTRACT

The relationship of comments to code, and in particular, the task of generating useful comments given the code, has long been of interest. The earliest approaches have been based on strong syntactic theories of comment-structures, and relied on textual templates. More recently, researchers have applied deep learning methods to this task, and specifically, trainable generative translation models which are known to work very well for Natural Language translation (e.g., from German to English). We carefully examine the underlying assumption here: that the task of generating comments sufficiently resembles the task of translating between natural languages, and so similar models and evaluation metrics could be used. We analyze several recent code-comment datasets for this task: CodeNN, DeepCom, FunCom, and DocString. We compare them with WMT19, a standard dataset frequently used to train state of the art natural language translators. We found some interesting differences between the code-comment data and the WMT19 natural language data. Next, we describe and conduct some studies to calibrate BLEU (which is commonly used as a measure of comment quality). using "affinity pairs" of methods, from different projects, in the same project, in the same class, etc; Our study suggests that the current performance on some datasets might need to be improved substantially. We also argue that fairly naive information retrieval (IR) methods do well enough at this task to be considered a reasonable baseline. Finally, we make some suggestions on how our findings might be used in future research in this area.

연구 동기 및 목표

• 유사한 딥러닝 모델이 사용되고 있음에도 불구하고, 코드-주석 생성이 자연어 번역과 실제로 유사한지 평가하는 것.
• 코드 주석의 높은 반복성이 BLEU와 같은 평가 지표에 미치는 영향을 조사하는 것.
• 유사도 기반 메서드 그룹을 활용해 BLEU 점수를 校정하여 현실적인 성능 기대치를 설정하는 것.
• 간단한 정보 검색 방법이 코드-주석 생성의 강력한 베이스라인으로 기능할 수 있는지 평가하는 것.
• 향후 코드-주석 생성 연구에서 표준화된 평가 및 베이스라인 설정 관행을 촉진하는 것.

제안 방법

• Zipf 플롯을 사용해 코드-주석 데이터셋(CodeNN, DeepCom, FunCom, DocString)과 WMT19 자연어 번역 데이터셋 간의 trigram 빈도 분포를 비교하였다.
• 동일한 프로젝트, 동일한 클래스, 동일한 메서드 이름을 가진 메서드 쌍을 '유사도 쌍(affinity pairs)'으로 정의하여 BLEU 점수를 校정하고 유사도 기반 성능을 평가하였다.
• 다양한 데이터 분할 및 전처리 방법에 대해 BLEU 점수를 측정하여 변동성과 신뢰도를 평가하였다.
• TF-IDF 벡터화와 코사인 유사도를 사용해 유사한 메서드에서 주석을 검색하는 단순한 정보 검색 베이스라인을 구현하였다.
• 표준 데이터셋에서 보고된 SOTA 성능과 비교해 검색 기반 베이스라인의 성능을 평가하였다.
• 향후 연구에서는 GLUE나 SQuAD와 같은 NLP 벤치마크에서 사용되는 것과 유사한 표준화된 평가 프로토콜을 도입할 것을 제안하였다.

실험 결과

연구 질문

• RQ1 WMT19와 같은 표준 번역 데이터셋의 자연어와 비교해 코드 주석의 언어적 특성은 어떻게 다른가?
• RQ2 코드 주석의 높은 반복성이 BLEU 점수가 주석 품질 평가 지표로써의 신뢰성에 어느 정도 영향을 미치는가?
• RQ3 간단한 정보 검색 방법이 코드-주석 생성에서 최첨단 딥러닝 모델과 비교해 유사하거나 더 뛰어난 성능을 낼 수 있는가?
• RQ4 동일한 클래스, 동일한 프로젝트 등 다양한 수준의 메서드 유사도가 기대되는 BLEU 점수에 어떤 영향을 미치며, 이는 베이스라인 성능에 대해 무엇을 드러내는가?
• RQ5 코드-주석 생성 연구에서 공정하고 재현 가능한 비교를 확보하기 위해 평가 관행에 어떤 개선이 필요한가?

주요 결과

• 코드 주석은 WMT19의 자연어와 비교해 훨씬 더 높은 trigram 반복성을 보이며, 기울기가 더 급격한 Zipf 플롯을 통해 더 포화되고 템플릿 기반의 언어임을 나타낸다.
• WMT19 데이터셋은 유사한 독일어 입력이 유사한 영어 출력을 생성하는 강한 입력-출력 의존성을 보이지만, 코드-주석 데이터셋에서는 이 패턴이 약하거나 전혀 존재하지 않는다.
• BLEU 점수는 데이터 분할 및 전처리 방법에 매우 민감하며, 일부 경우에서 측정된 모델 향상 수준을 초월하는 변동성이 존재한다.
• TF-IDF와 코사인 유사도를 사용한 단순한 정보 검색 베이스라인은 여러 데이터셋에서 보고된 SOTA 신경망 모델의 성능과 유사하거나 이를 초월한다.
• 동일한 클래스에 속한 메서드에서 주석을 검색할 경우 평균 BLEU 점수가 현재 최첨단 모델 수준과 유사하여, 이는 매우 강력한 베이스라인임을 시사한다.
• 본 연구는 기존 코드-주석 데이터셋 간의 전처리, 분할, 평가 함수에 있어 심각한 일관성 부족을 드러내어 비교 가능성에 악영향을 미친다.