[논문 리뷰] Automatic Source Code Summarization with Extended Tree-LSTM

Yusuke Shido, Yasuaki Kobayashi외 3명|arXiv (Cornell University)|2019. 06. 19.

Natural Language Processing Techniques참고 문헌 29인용 수 10

한 줄 요약

이 논문은 소스 코드에서 흔한 임의의 순서와 자식 노드 수를 가진 추상 구문 트리(abstract syntax trees, ASTs)를 처리할 수 있도록 Tree-LSTM을 확장한 Multi-way Tree-LSTM을 제안한다. 이는 더 나은 소스 코드 요약을 가능하게 한다. 코드-주석 데이터셋에서 평가한 결과, 특히 복잡한 AST에서 최신 기술 대비 뛰어난 성능을 보이며, 인간이 작성한 요약보다 더 표현력 있는 요약을 생성한다.

ABSTRACT

Neural machine translation models are used to automatically generate a document from given source code since this can be regarded as a machine translation task. Source code summarization is one of the components for automatic document generation, which generates a summary in natural language from given source code. This suggests that techniques used in neural machine translation, such as Long Short-Term Memory (LSTM), can be used for source code summarization. However, there is a considerable difference between source code and natural language: Source code is essentially {\em structured}, having loops and conditional branching, etc. Therefore, there is some obstacle to apply known machine translation models to source code. Abstract syntax trees (ASTs) capture these structural properties and play an important role in recent machine learning studies on source code. Tree-LSTM is proposed as a generalization of LSTMs for tree-structured data. However, there is a critical issue when applying it to ASTs: It cannot handle a tree that contains nodes having an arbitrary number of children and their order simultaneously, which ASTs generally have such nodes. To address this issue, we propose an extension of Tree-LSTM, which we call \emph{Multi-way Tree-LSTM} and apply it for source code summarization. As a result of computational experiments, our proposal achieved better results when compared with several state-of-the-art techniques.

연구 동기 및 목표

• 기존 Tree-LSTM 모델이 자식 노드 수와 순서가 임의로 변할 수 있는 AST를 다루는 데에 한계가 있다는 문제를 해결한다.
• 코드를 평탄한 시퀀스로 취급하는 대신, AST 내부의 구조적 정보를 활용하여 소스 코드 요약을 향상시킨다.
• 계층적이고 순서가 중요한 프로그램 구조를 효과적으로 포착할 수 있는 신경망 아키텍처를 개발한다.
• 제안된 Multi-way Tree-LSTM 기반의 트리 구조 모델이 코드 요약 작업에서 순차적 모델(예: 표준 LSTMs)보다 뛰어난 성능을 보임을 입증한다.
• 기존 방법들, 특히 인간이 주석한 주석들보다도 더 표현력 있고 정확한 자연어 요약을 소스 코드에서 생성한다.

제안 방법

• 기존 Tree-LSTM 아키텍처를 확장하여 자식 노드 수가 임의로 변할 수 있고 순서가 유지되는 노드를 처리할 수 있도록 하되, 이전 Tree-LSTM 변종의 핵심 한계를 해결한다.
• 학습 가능한 게이트를 통해 자식 노드 표현을 집계하여 은닉 상태를 계산하는 가분기 신경망 유닛을 설계하며, 이는 구조적 정보와 순서 정보를 모두 유지한다.
• 소스 코드 요약을 위해 Sequence-to-Sequence 모델의 인코더로 Multi-way Tree-LSTM를 사용하여 AST를 조밀한 벡터 표현으로 매핑한다.
• 표준 신경 기계 번역 학습 목표를 사용하여 대규모 메서드-코드 쌍 데이터셋에서 모델을 엔드 투 엔드로 훈련한다.
• 인코더(Multi-way Tree-LSTM)와 디코더(LSTM) 간에 어텐션 메커니즘을 적용하여 코드 구조와 자연어 출력 간의 정렬을 도모한다.
• 교차 엔트로피 손실과 트리 구조를 거쳐 역전파를 수행하여 기울기 기반 학습이 트리 구조 입력에서 가능하도록 최적화한다.

실험 결과

연구 질문

• RQ1 자신의 수와 순서가 임의로 변할 수 있는 노드를 가진 AST를 효과적으로 모델링할 수 있는 수정된 Tree-LSTM 아키텍처는 실제 프로그래밍 언어에서 흔한 이러한 AST를 다룰 수 있는가?
• RQ2 표준 LSTMs와 같은 순차적 모델에 비해, 트리 구조 인코더(Multi-way Tree-LSTM)를 사용할 경우 코드 요약 성능이 향상되는가?
• RQ3 노드 수나 최대 노드 차수와 같은 AST 복잡도의 변화에 따라 모델 성능은 어떻게 변하는가?
• RQ4 생성된 요약이 훈련 데이터의 인간이 작성한 문서화 주석보다 더 표현력 있거나 의미적으로 풍부한가?
• RQ5 제안된 모델은 다양한 주석 길이와 구조적 패턴에 대해 얼마나 일반화되는가?

주요 결과

• 제안된 Multi-way Tree-LSTM는 특히 노드 수나 차수(노드의 자식 수)가 많은 복잡한 AST에서 기존 최신 기술 대비 뚜렷한 성능 향상을 보였다.
• 단일 레이어 Multi-way Tree-LSTM 모델은 대비 모델 대비 BLEU-4 점수에서 뛰어난 성능을 기록하였으며, 특히 큰 또는 깊이 있는 중첩된 AST를 요약할 때 유의미한 개선을 보였다.
• 모델은 정확성뿐 아니라 몇몇 사례에서 원본 인간 주석보다 더 표현력 있는 요약을 생성하여 의미적 이해도 향상됨을 시사한다.
• 노드 수가 많고 최대 차수가 높은 AST에서 성능 향상이 가장 두드러지게 나타나, 복잡한 코드 구조를 다룰 때의 모델의 강점을 입증한다.
• 모델은 다양한 주석 길이에서 일관된 성능을 유지하지만, 특히 중간 길이의 요약 생성에서 두각을 나타낸다.
• 정성 분석 결과, 생성된 요약은 유창하고 의미적으로 정확하며, 때로는 원본 주석을 더 자연스럽거나 정보량이 풍부한 방식으로 재구성하거나 향상시키는 것으로 확인되었다.