[논문 리뷰] EditSum: A Retrieve-and-Edit Framework for Source Code Summarization

Jia Li, Yongmin Li외 4명|arXiv (Cornell University)|2023. 08. 26.

Software Engineering ResearchComputer Science참고 문헌 30인용 수 3

한 줄 요약

EditSum는 입력 소스 코드의 의미적 키워드와 유사한 코드 요약(프로토타입)에서 추출한 패턴화된 단어를 결합함으로써 정보성 향상을 도모하는 리트리브 앤 에디트 프레임워크를 제안한다. 프로토타입을 구조적 템플릿으로 간주하고 입력 코드의 의미를 기반으로 편집함으로써, EditSum은 200만 건의 샘플을 포함한 자바 코퍼스에서 최신 기술 모델들을 능가하며, 더 정보가 풍부하고 키워드가 풍부한 요약을 생성하며 인간 평가 점수도 뛰어나다.

ABSTRACT

Existing studies show that code summaries help developers understand and maintain source code. Unfortunately, these summaries are often missing or outdated in software projects. Code summarization aims to generate natural language descriptions automatically for source code. Code summaries are highly structured and have repetitive patterns. Besides the patternized words, a code summary also contains important keywords, which are the key to reflecting the functionality of the code. However, the state-of-the-art approaches perform poorly on predicting the keywords, which leads to the generated summaries suffering a loss in informativeness. To alleviate this problem, this paper proposes a novel retrieve-and-edit approach named EditSum for code summarization. Specifically, EditSum first retrieves a similar code snippet from a pre-defined corpus and treats its summary as a prototype summary to learn the pattern. Then, EditSum edits the prototype automatically to combine the pattern in the prototype with the semantic information of input code. Our motivation is that the retrieved prototype provides a good start-point for post-generation because the summaries of similar code snippets often have the same pattern. The post-editing process further reuses the patternized words in the prototype and generates keywords based on the semantic information of input code. We conduct experiments on a large-scale Java corpus and experimental results demonstrate that EditSum outperforms the state-of-the-art approaches by a substantial margin. The human evaluation also proves the summaries generated by EditSum are more informative and useful. We also verify that EditSum performs well on predicting the patternized words and keywords.

연구 동기 및 목표

• 코드 요약에서 낮은 빈도로 발생하지만 기능적으로 중요한 키워드를 예측하는 데에 최신 딥러닝 모델의 성능이 열악한 문제를 해결하기 위해.
• 유사한 코드 스니펫에서 재사용 가능한 패턴을 활용하여 자동 생성된 코드 요약의 정보성과 구조적 품질을 향상시키기 위해.
• 검색 기반 패턴 학습과 의미적 편집을 결합한 요약 생성을 위한 프레임워크를 설계하기 위해.
• 높은 요약 품질과 프로젝트 간 재사용성을 유지하면서 수동 템플릿 생성에 대한 의존도를 줄이기 위해.

제안 방법

• 리트리브 모듈은 의미적 및 구조적 유사도를 기반으로 대규모 병렬 코퍼스에서 가장 유사한 코드 스니펫을 정보 검색 기법을 사용해 찾는다.
• 시스템은 검색된 코드 스니펫의 요약을 프로토타입으로 간주하며, 이는 요약의 구조 패턴(예: 'true를 반환하는 경우...')을 재사용 가능한 패턴으로 제공한다.
• 에디트 모듈은 입력 코드의 의미적 내용을 기반으로 프로토타입 요약의 키워드를 교체하거나 삽입함으로써 이를 수정하는 데에 신경망을 활용한다.
• 모델는 프로토타입에서 유래한 패턴화된 단어를 유지하면서도, 입력 코드의 의미적 특성에서 새로운 맥락에 맞는 키워드를 동시에 생성하도록 공동으로 학습한다.
• 프레임워크는 대규모 자바 데이터셋에서 엔드 투 엔드로 훈련되며, 에디트 모듈은 입력 코드와 검색된 프로토타입 양쪽에 조건부로 설정된다.
• 검색된 요약을 보조 입력으로 간주하지 않고, 편집을 위한 구조적 기초로 활용한다.

실험 결과

연구 질문

• RQ1 유사한 코드 요약에서 구조적 패턴을 재사용함으로써 리트리브 앤 에디트 프레임워크가 코드 요약의 정보성을 향상시킬 수 있는가?
• RQ2 프로토타입 패턴과 입력 코드의 의미를 조합하면 종래의 엔드 투 엔드 딥러닝 모델보다 더 나은 키워드 예측 성능을 낼 수 있는가?
• RQ3 제안된 방법은 압축성, 정확성, 정보성 모두를 고려할 때 템플릿 기반 및 신경망 기반 베이스라인을 모두 능가할 수 있는가?
• RQ4 모델는 다양한 길이와 복잡도를 가진 코드 스니펫에 대해 얼마나 잘 일반화되는가?

주요 결과

• EditSum은 대규모 200만 건의 자바 샘플 코퍼스에서 최신 기술 신경망 베이스라인 및 정보 검색 기반 방법을 크게 능가하며, ROUGE 및 BLEU 점수 모두에서 뛰어난 성능을 보였다.
• 인간 평가 결과 EditSum이 생성한 요약은 베이스라인 대비 더 정보가 풍부하고 유용하며, 관련성과 명확성이 더 높았다.
• 모델는 낮은 빈도로 발생하지만 기능적으로 중요한 키워드의 비율을 더 높게 생성하여 이전 모델에서 관찰된 의미적 정보 손실 문제를 줄였다.
• EditSum은 다양한 코드 길이에 걸쳐 뛰어난 성능을 유지하며, 스니펫의 복잡도에 관계없이 고품질의 출력을 생성했다.
• 프로토타입에서 유래한 패턴화된 단어(예: 'true를 반환하는 경우...')를 효과적으로 유지하면서도, 입력 코드의 새로운 의미적 내용에 적절히 적응했다.
• 사례 연구 결과 EditSum은 구조적 템플릿을 재사용하고 도메인 특화 키워드를 통합함으로써 더 자연스럽고 맥락에 부합하는 요약을 생성함을 확인했다.