[논문 리뷰] Code Generation as a Dual Task of Code Summarization

Bolin Wei, Ge Li외 3명|arXiv (Cornell University)|2019. 10. 14.

Software Engineering Research인용 수 64

한 줄 요약

이 논문은 코드 요약(CS)과 코드 생성(CG) 모델을 공동으로 학습시키는 이중 학습 프레임워크를 제안하며, 확률적 이중성 및 주의 가중치 대칭성을 강화하여 Java와 Python 데이터셋에서 두 작업의 성능을 향상시킨다.

ABSTRACT

Code summarization (CS) and code generation (CG) are two crucial tasks in the field of automatic software development. Various neural network-based approaches are proposed to solve these two tasks separately. However, there exists a specific intuitive correlation between CS and CG, which have not been exploited in previous work. In this paper, we apply the relations between two tasks to improve the performance of both tasks. In other words, exploiting the duality between the two tasks, we propose a dual training framework to train the two tasks simultaneously. In this framework, we consider the dualities on probability and attention weights, and design corresponding regularization terms to constrain the duality. We evaluate our approach on two datasets collected from GitHub, and experimental results show that our dual framework can improve the performance of CS and CG tasks over baselines.

연구 동기 및 목표

• CS와 CG 간의 본질적 이중성을 활용하여 두 작업을 개선하려는 동기 부여.
• 확률 기반 및 주의 기반 제약으로 CS와 CG를 결합하는 공동 학습 프레임워크 개발.
• 듀얼 학습이 다수 데이터셋에서 최첨단 baselines 대비 개선을 보여준다.

제안 방법

• CS(코드에서 주석으로)와 CG(주석에서 코드로) 모두에 대해 인코더–디코더와 주의를 갖춘 Seq2Seq를 사용한다.
• 확률적 이중성에 기반한 이중 손실 항을 도입: l_dual은 P(x|y)와 P(y|x) 및 그 주변 분포를 기반으로 한다.
• 토큰별 주의 분포 간 Jensen–Shannon 발산을 이용해 CS와 CG 주의의 이중 제약을 맞춘다.
• CS와 CG 모델에 대해 별도의 매개변수를 가지되 공유된 이중 제약 하에 공동 최적화를 적용하며, 워밍업된 모델로 학습한다.
• CS에는 BLEU, METEOR, ROUGE-L을, CG에는 BLEU(및 유효 코드 비율)를 사용해 Java 및 Python 데이터셋에서 평가한다.

실험 결과

연구 질문

• RQ1 CS↔CG 이중성을 활용한 듀얼 트레이닝 프레임워크가 생성된 주석과 코드의 품질을 개선할 수 있는가?
• RQ2 확률적 이중성과 주의 기반 제약이 CS와 CG 성능에 기여하는가?
• RQ3 독립 학습에 비해 공동 학습이 코드의 유효성 및 주의 분포에 어떤 영향을 미치는가?
• RQ4 Java와 Python 데이터셋에서 CS와 CG 과제의 실질적 향상은 어느 정도인가?

주요 결과

방법	자바 BLEU	자바 METEOR	자바 ROUGE-L	파이썬 BLEU	파이썬 METEOR	파이썬 ROUGE-L
CODE-NN	27.60	12.61	41.10	17.36	9.288	37.81
DeepCom	39.75	23.06	52.67	9.979	37.35
Tree2Seq	37.88	22.55	51.50	8.957	35.64
RL+Hybrid2Seq	38.22	22.75	51.91	9.752	39.34
API+CODE	41.31	23.73	52.25	15.36	33.65
Basic Model	41.01	23.26	51.64	20.47	38.77
Dual Model	42.39	25.77	53.61	21.80	39.45

• 듀얼 모델은 Java와 Python 모두의 CS 지표(BLEU, METEOR, ROUGE-L)에서 모든 베이스라인을 지속적으로 능가한다.
• Java와 Python에서 CS에 대해 듀얼 모델이 비교 방법 중 최고 BLEU, METEOR, ROUGE-L 점수를 달성한다.
• CG의 경우 듀얼 모델이 기본 모델보다 BLEU와 유효 코드 비율을 향상시킨다.
• 공동 학습은 Java와 Python 데이터셋 모두에서 유효 코드 비율을 증가시킨다.
• 삭제(branch) 실험에서 확률적 이중성과 주의 이중성 모두가 CS 이득에 기여하며, 주의 이중성은 단독 사용 또는 확률적 이중성과 함께 사용할 때 더 큰 이득을 제공한다.
• 정성적 예시는 주의 분포가 더 매끄럽고 사람 작성 출력과 의미적으로 높은 유사성을 보임을 보여준다.