[논문 리뷰] Code Attention: Translating Code to Comments by Exploiting Domain Features

Wenhao Zheng, Hong-Yu Zhou외 2명|arXiv (Cornell University)|2017. 09. 22.

Software Engineering Research참고 문헌 31인용 수 12

한 줄 요약

이 논문은 코드에서 주석으로의 생성 성능을 햖थ기 위해 도메인 특화된 특징(예: 식별자, 기호, 프로그램 구조)을 명시적으로 모델링하는 새로운 어텐션 메커니즘인 Code Attention을 제안한다. 순차적-순차적 RNN 프레임워크에 이러한 특징을 통합함으로써, 기존의 접근 방식보다 BLEU, METEOR 및 인간 평가에서 최고 성능을 기록하며, 새로운 대규모 데이터셋인 C2CGit에서 뛰어난 성능을 보였다.

ABSTRACT

Appropriate comments of code snippets provide insight for code functionality, which are helpful for program comprehension. However, due to the great cost of authoring with the comments, many code projects do not contain adequate comments. Automatic comment generation techniques have been proposed to generate comments from pieces of code in order to alleviate the human efforts in annotating the code. Most existing approaches attempt to exploit certain correlations (usually manually given) between code and generated comments, which could be easily violated if the coding patterns change and hence the performance of comment generation declines. In this paper, we first build C2CGit, a large dataset from open projects in GitHub, which is more than 20$ imes$ larger than existing datasets. Then we propose a new attention module called Code Attention to translate code to comments, which is able to utilize the domain features of code snippets, such as symbols and identifiers. We make ablation studies to determine effects of different parts in Code Attention. Experimental results demonstrate that the proposed module has better performance over existing approaches in both BLEU and METEOR.

연구 동기 및 목표

• 오픈소스 코드에서 부족한 주석으로 인해 프로그램 이해와 유지보수가 어려운 문제를 해결하기 위해.
• 변경되는 프로그래밍 패턴에 취약한 고정된 수작업 정의 기반의 코드-주석 상관관계에 의존하는 기존 주석 생성 방법의 한계를 극복하기 위해.
• 코드의 내재된 도메인 특징을 활용하여 더 견고하고 일반화 능력이 뛰어난 코드-주석 번역 접근법을 개발하기 위해.
• 미래의 코드 주석 생성 연구를 지원하고 검증하기 위한 대규모 실세계 기반 벤치마크 데이터셋을 구축하기 위해.
• 명시적으로 코드 구조와 의미적 특징을 모델링할 경우 더 정확하고 기능적으로 올바른 주석 생성이 가능함을 입증하기 위해.

제안 방법

• 식별자, 기호, 제어 구조 등 도메인 특화된 특징을 어텐션 계산에 통합하는 새로운 어텐션 메커니즘인 Code Attention을 제안한다.
• 세 단계 과정을 설계: 의미 있는 토큰을 우선순위화하는 Identifier Ordering, 코드 요소를 임bedding하는 Token Encoding, 코드 특징을 자연어 출력과 정렬하는 Global Attention.
• 빔 서치 추론을 사용하는 3층 RNN 인코더-디코더 아키텍처를 사용하며, 확률적 경사 하강법을 사용해 C2CGit 데이터셋으로 학습한다.
• 변동 길이의 코드-주석 쌍을 처리하기 위해 버킷링을 적용하였으며, 10겹 교차 검증을 통해 최적의 버킷 크기(40,15), (55,20), (70,40), (220,60)를 선정하였다.
• 학습 안정성과 수렴성을 향상시키기 위해 적응형 학습률 감소를 적용하였으며, 초기 학습률 0.5를 설정하고, 3,000단계 이상 수렴하지 않는 경우 매번 0.99로 감소시켰다.
• 의미적 및 구문적 패턴을 포착하기 위해 512차원 사전 학습된 단어 임베딩과 1024차원 은닉 유닛을 사용하였다.

실험 결과

연구 질문

• RQ1 식별자와 기호와 같은 코드 전용 특징을 명시적으로 모델링하는 신경 어텐션 메커니즘이 코드-주석 생성 성능을 향상시킬 수 있는가?
• RQ2 어텐션 메커니즘에 프로그램 구조(예: 반복문, 조건문)를 통합할 경우 더 기능적으로 정확한 주석 생성이 가능한가?
• RQ3 자동 평가 지표와 인간 평가 모두에서 제안된 방법이 기존 베이스라인 대비 성능이 뛰어나게 되는가?
• RQ4 C2CGit처럼 더 크고 실세계 기반의 데이터셋은 코드 주석 생성 모델의 일반화 능력과 신뢰성에 어떤 영향을 미치는가?
• RQ5 Code Attention 모듈의 각 구성 요소가 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제안된 Code Attention 모델은 BLEU 및 METEOR 점수에서 모든 베이스라인을 앞서는 최고 성능을 기록하며 자동 평가 지표에서 최고 성능을 달성하였다.
• 인간 평가 결과, Code Attention이 생성한 주석은 기존 방법보다 더 정확하고 코드 기능과 의미적으로 잘 일치함을 확인하였다.
• 제거 실험 결과, Code Attention의 각 구성 요소인 식별자 순서 정렬, 토큰 인코딩, 글로벌 어텐션 모두 성능 향상에 기여하는 것으로 나타났다.
• 1,000개 이상의 오픈소스 프로젝트를 포함하는 C2CGit 데이터셋은 이전 기준 대비 20배 이상 큰 데이터셋으로, 더 견고한 모델 평가를 가능하게 하였다.
• 간단한 모델이 놓치는 바와는 달리, 모델은 'swap'과 'shift'를 구분하는 것과 같이 구조적 의미론을 정확히 반영한 주석을 생성하였다.
• 단일 NVIDIA K80 GPU에서 약 3일 및 90,000회 반복 학습을 통해 모델을 학습시킬 수 있었으며, 이는 아키텍처의 실용적 학습 효율성을 시사한다.