[논문 리뷰] CodeSum: Translate Program Language to Natural Language

Xing Hu, Yuhan Wei외 2명|arXiv (Cornell University)|2017. 08. 06.

Software Engineering Research참고 문헌 3인용 수 13

한 줄 요약

이 논문은 주어진 소스 코드에 자연어 설명을 생성하기 위해 주목적 기반의 추상 구문 트리(abstract syntax tree, AST) 순회를 통합한 어텐션 기반 순서-순서(sequence-to-sequence) 프레임워크를 활용하는 신경망 기반 코드 요약 모델인 CodeSum을 제안한다. 자바, C#, 그리고 SQL 데이터셋—특히 새로운 산업용 자바 데이터셋을 포함—에서 평가한 결과, 기존 방법들을 크게 앞서는 최신 기술 수준(SOTA)의 성능을 달성하였다.

ABSTRACT

During software maintenance, programmers spend a lot of time on code comprehension. Reading comments is an effective way for programmers to reduce the reading and navigating time when comprehending source code. Therefore, as a critical task in software engineering, code summarization aims to generate brief natural language descriptions for source code. In this paper, we propose a new code summarization model named CodeSum. CodeSum exploits the attention-based sequence-to-sequence (Seq2Seq) neural network with Structure-based Traversal (SBT) of Abstract Syntax Trees (AST). The AST sequences generated by SBT can better present the structure of ASTs and keep unambiguous. We conduct experiments on three large-scale corpora in different program languages, i.e., Java, C#, and SQL, in which Java corpus is our new proposed industry code extracted from Github. Experimental results show that our method CodeSum outperforms the state-of-the-art significantly.

연구 동기 및 목표

• 소프트웨어 유지보수 과정에서의 비효율적 코드 이해 문제를 해결하기 위해 소스 코드에 대한 간결한 자연어 요약을 생성하는 것.
• 추상 구문 트리(abstract syntax tree, ASTs)를 보다 효과적으로 활용하여 코드 요약에서 프로그램의 구조적 표현을 향상시키는 것.
• 코드의 구문적 및 구조적 정보를 유지하면서도 인간이 읽기 쉬운 요약을 생성하는 방법을 개발하는 것.
• 자바를 포함한 다양한 프로그래밍 언어에서 모델을 평가하는 것—특히 GitHub에서 추출한 새로운 산업용 자바 코퍼스를 활용하여.

제안 방법

• CodeSum는 엔드 투 엔드 코드 요약을 위한 어텐션 기반 순서-순서(sequence-to-sequence, Seq2Seq) 신경망 아키텍처를 사용한다.
• 구조 기반 순회(structure-based traversal, SBT)를 사용하여 추상 구문 트리(abstract syntax tree, ASTs)의 순차적 표현을 생성함으로써 구조적 의미를 유지한다.
• SBT는 프로그램의 제어 흐름과 데이터 흐름을 반영하는 방식으로 AST를 순회함으로써 모호하지 않으며 구조를 유지하는 순서를 보장한다.
• 모델은 양방향 LSTM을 사용해 AST 순서를 인코딩하고, 자동회귀적 디코더를 사용해 자연어로 디코딩한다.
• 어텐션 메커니즘은 디코딩 중 코드 토큰과 요약 단어 간의 정렬을 도와 정확도와 유창성을 향상시킨다.
• 모델은 교차 엔트로피 손실과 스케줄링 샘플링을 사용해 코드-요약 쌍에 대해 엔드 투 엔드로 훈련된다.

실험 결과

연구 질문

• RQ1 평면적 또는 무작위 순회 방식과 비교해, 구조 인식 순회를 통한 AST 순회가 코드 요약 성능을 향상시키는가?
• RQ2 CodeSum은 자바, C#, SQL과 같은 다양한 프로그래밍 언어에서 어떻게 성능을 발휘하는가?
• RQ3 새로 구축한 산업용 자바 코퍼스의 사용이 모델의 일반화 능력과 실제 적용 가능성에 기여하는가?
• RQ4 CodeSum은 기존 최신 기술 수준(SOTA)의 코드 요약 모델을 어느 정도 뛰어넘는가?

주요 결과

• CodeSum은 평가된 세 가지 코퍼스—자바, C#, SQL—모두에서 기존 최신 기술 수준(SOTA) 모델을 뚜렷이 앞서는 성능을 보였다.
• 제안된 구조 기반 순회(structure-based traversal, SBT)는 기준 순회 전략 대비 더 정확하고 의미적으로 유의미한 코드 요약을 생성하는 데 기여하였다.
• GitHub에서 추출한 새로운 산업용 자바 코퍼스에서도 뛰어난 성능을 기록하여 실제 적용 가능성에서의 유의미함을 입증하였다.
• 정량적 결과는 모든 언어에서 ROUGE 및 BLEU 점수에서 일관된 향상을 보이며, 아키텍처와 훈련 전략의 효과성을 확인하였다.