[논문 리뷰] Neural Code Summarization: How Far Are We?

Ensheng Shi, Yanlin Wang외 6명|arXiv (Cornell University)|2021. 07. 15.

Software Engineering Research참고 문헌 57인용 수 4

한 줄 요약

이 논문은 세 가지 벤치마크 데이터셋을 대상으로 최신 신경망 기반 코드 요약 모델 다섯 종류에 대한 체계적인 평가를 수행하여 BLEU 지표 사용 방식, 코드 사전처리의 영향, 데이터셋 특성 등에서 중요한 결함를 드러냈다. 이는 더 신뢰할 수 있는 평가를 위한 실질적인 지침을 제공하며, 자동화된 코드 요약 분야의 주요 과제와 향후 연구 방향을 규명한다.

ABSTRACT

Source code summaries are important for the comprehension and maintenance of programs. However, there are plenty of programs with missing, outdated, or mismatched summaries. Recently, deep learning techniques have been exploited to automatically generate summaries for given code snippets. To achieve a profound understanding of how far we are from solving this problem, in this paper, we conduct a systematic and in-depth analysis of five state-of-the-art neural source code summarization models on three widely used datasets. Our evaluation results suggest that: (1) The BLEU metric, which is widely used by existing work for evaluating the performance of the summarization models, has many variants. Ignoring the differences among the BLEU variants could affect the validity of the claimed results. Furthermore, we discover an important, previously unknown bug about BLEU calculation in a commonly-used software package. (2) Code pre-processing choices can have a large impact on the summarization performance, therefore they should not be ignored. (3) Some important characteristics of datasets (corpus size, data splitting method, and duplication ratio) have a significant impact on model evaluation. Based on the experimental results, we give some actionable guidelines on more systematic ways for evaluating code summarization and choosing the best method in different scenarios. We also suggest possible future research directions. We believe that our results can be of great help for practitioners and researchers in this interesting area.

연구 동기 및 목표

• 표준화된 벤치마크를 사용하여 기존 신경망 기반 코드 요약 모델의 신뢰성과 타당성을 평가하기.
• BLEU 지표 계산 및 구현 방식의 차이가 성능 평가에 미치는 영향을 조사하기.
• 코드 사전처리 선택 사항이 모델 요약 성능에 미치는 영향을 평가하기.
• 데이터셋 특성, 예를 들어 코퍼스 크기, 데이터 분할 방식, 중복 비율 등이 모델 평가 결과에 미치는 영향을 검토하기.
• 코드 요약 연구에서 더 체계적인 평가 및 방법 선택을 위한 실질적인 지침 제공하기.

제안 방법

• ASP, Big-Vul, CodeXGLUE와 같은 널리 사용되는 세 가지 데이터셋에서 최신 신경망 기반 코드 요약 모델 다섯 종류에 대한 체계적 평가 수행.
• BLEU 지표 변종의 영향을 분석하고 성능 비교에 미치는 영향을 포함한 포괄적 분석을 수행하며, 일반적으로 사용되는 소프트웨어 패키지에서 이전에 알려지지 않은 버그를 식별함.
• 코드 사전처리 기법에 대한 분석 실험을 통해 그 영향력이 모델 출력 품질과 평가 점수에 미치는 영향을 측정함.
• 모델 일반화 및 평가 안정성에 영향을 주는 데이터셋 수준의 요소들, 즉 코퍼스 크기, 데이터 분할 전략, 중복 비율에 대한 실증적 조사.
• 다양한 평가 설정 간 모델 성능의 통계적 분석 및 비교를 통해 일관된 추세와 이질적 현상을 규명함.
• 실증적 발견과 모델 비교 분야의 최선의 실천 방식을 바탕으로 표준화된 평가 프로토콜을 위한 지침 제안.

실험 결과

연구 질문

• RQ1 BLEU 지표의 다양한 변종이 코드 요약 모델의 보고된 성능에 어떤 영향을 미치는가?
• RQ2 코드 사전처리 선택 사항이 모델 생성 요약의 품질과 일관성에 어느 정도의 영향을 미치는가?
• RQ3 코퍼스 크기, 데이터 분할 방법, 중복 비율 등의 데이터셋 고유의 특성이 모델 평가 결과에 어떻게 영향을 미치는가?
• RQ4 널리 사용되는 BLEU 구현에서 이전에 알려지지 않은 버그가 코드 요약 분야의 모델 비교에 어떤 영향을 미치는가?
• RQ5 코드 요약 연구의 신뢰성과 재현 가능성을 향상시키기 위해 어떤 체계적인 평가 관행이 필요한가?

주요 결과

• BLEU 지표의 다양한 변종은 상당히 다른 성능 점수를 산출하여, 연구 간 직접 비교의 타당성을 약화시킴.
• 일반적으로 사용되는 소프트웨어 패키지에서 이전에 알려지지 않은 버그로 인해 BLEU 지표 값이 잘못 계산되어 보고된 결과의 신뢰성이 손상됨.
• 토크나이제이션 및 정규화와 같은 코드 사전처리 선택 사항은 모델 성능에 상당한 영향을 미치며, 실험 간 표준화가 필수적임.
• 코퍼스 크기, 데이터 분할 전략, 중복 비율 등의 데이터셋 특성은 모델 평가 결과에 상당한 영향을 미치며, 신중한 제어가 필요함.
• 현재 코드 요약 연구의 평가 관행은 일관성과 표준화가 부족하여 잘못된 결론을 이끌 수 있음.
• 본 연구는 향후 연구에서 더 체계적이고 신뢰할 수 있는 코드 요약 모델 평가를 위한 실질적인 지침을 제공함.