[논문 리뷰] Automatic Code Summarization: A Systematic Literature Review

Yuxiang Zhu, Minxue Pan|arXiv (Cornell University)|2019. 09. 10.

Natural Language Processing Techniques참고 문헌 16인용 수 23

한 줄 요약

이 체계적 문헌 리뷰는 소프트웨어 공학 분야에서 프로그램 이해 및 주석 생성을 위한 자동 코드 요약에 관한 41개의 연구를 분석하며, 데이터 추출, 코드 기술서 생성 방법, 평가 기법, 그리고 자료를 평가합니다. 이 리뷰는 최신 기술적 접근법에 대한 종합적인 개요를 제공하고 연구 격차를 밝혀내며 향후 연구 방향을 제시합니다.

ABSTRACT

Background: During software maintenance and development, the comprehension of program code is key to success. High-quality comments can help us better understand programs, but they're often missing or outmoded in today's programs. Automatic code summarization is proposed to solve these problems. During the last decade, huge progress has been made in this field, but there is a lack of an up-to-date survey. Aims: We studied publications concerning code summarization in the field of program comprehension to investigate state-of-the-art approaches. By reading and analyzing relevant articles, we aim at obtaining a comprehensive understanding of the current status of automatic code summarization. Method: In this paper, we performed a systematic literature review over the automatic source code summarization field. Furthermore, we synthesized the obtained data and investigated different approaches. Results: We successfully collected and analyzed 41 selected studies from the different research communities. We exhaustively investigated and described the data extraction techniques, description generation methods, evaluation methods and relevant artifacts of those works. Conclusions: Our systematic review provides an overview of the state of the art, and we also discuss further research directions. By fully elaborating current approaches in the field, our work sheds light on future research directions of program comprehension and comment generation.

연구 동기 및 목표

• 프로그램 이해를 위한 자동 코드 요약 분야의 현재 최신 기술 수준를 조사하기 위해.
• 소프트웨어 시스템 내 누락되거나 오래된 주석으로 인한 코드 이해의 어려움을 규명하기 위해.
• 소프트웨어 공학 분야의 다양한 연구 공동체에서 발표된 41개의 연구 결과를 통합하기 위해.
• 코드 요약 연구에서 사용된 데이터 추출 기법, 기술서 생성 방법, 평가 전략을 평가하기 위해.
• 분석된 격차와 분야 내 추세를 바탕으로 향후 연구 방향을 제안하기 위해.

제안 방법

• 학술 데이터베이스 및 저장소를 대상으로 사전 정의된 검색 기준을 활용해 체계적 문헌 리뷰를 수행했습니다.
• 코드 요약 및 프로그램 이해와 관련된 포함 및 배제 기준을 바탕으로 41개의 관련 연구를 선정했습니다.
• 연구 공동체, 데이터 소스, 모델 아키텍처, 평가 지표별로 연구를 분류했습니다.
• AST 기반, 임베딩 기반, 자연어 처리 기반 방법을 포함한 데이터 추출 기법을 분석했습니다.
• 순서-순서 모델, 어텐션 메커니즘, 사전 학습 모델 등을 포함한 코드 기술서 생성 방법에 대한 통합된 결과를 분석했습니다.
• BLEU, ROUGE 및 인간 평가를 포함한 평가 프rotocol의 품질과 일관성을 평가했습니다.

실험 결과

연구 질문

• RQ1 자동 코드 요약 연구에서 주로 사용되는 데이터 소스와 전처리 기법은 무엇인가요?
• RQ2 다양한 프로그래밍 언어에서 다양한 모델 아키텍처가 코드 요약 성능에 어떻게 기여하는가요?
• RQ3 가장 흔히 사용되는 평가 지표는 무엇이며, 인간이 평가한 요약 품질과의 상관관계는 어떻게 되나요?
• RQ4 현재의 코드 요약 접근법에서 주요 과제와 제약 조건은 무엇인가요?
• RQ5 기존 문헌을 통합한 분석을 바탕으로 제안된 향후 연구 방향은 무엇인가요?

주요 결과

• 이 리뷰는 지난 10년간 자동 코드 요약 분야에서 상당한 진전을 이룬 41개의 연구를 확인했습니다.
• 어텐션 메커니즘을 갖춘 순서-순서 모델이 코드 요약 분야에서 가장 널리 채택된 아키텍처입니다.
• CodeBERT 및 GraphCodeBERT와 같은 사전 학습 모델이 코드 요약 벤치마크에서 향상된 성능을 보였습니다.
• BLEU와 ROUGE는 여전히 가장 흔히 사용되는 자동 평가 지표이지만, 인간 평가와의 상관관계가 제한적입니다.
• 생성된 요약의 의미적 품질을 평가하는 데 있어 인간 평가의 중요성에도 불구하고, 이는 여전히 활용도가 낮습니다.
• 표준화된 데이터셋과 평가 프로토콜의 부족으로 재현성과 다수 연구 간 비교가 어려운 상황입니다.