[논문 리뷰] The Code2Text Challenge: Text Generation in Source Code Libraries

Kyle Richardson, Sina Zarrieß외 1명|Publikationen an der Universität Bielefeld (Universität Bielefeld)|2017. 07. 31.

Software Engineering Research인용 수 3

한 줄 요약

이 논문은 소프트웨어 라이브러리의 소스 코드 함수에서 자연어 설명을 생성하기 위한 공유 과제인 Code2Text 챌린지를 소개한다. 이 작업은 다중 프로그래밍 및 자연어를 지원하는 기존의 의미 분석기 유도 연구 데이터셋을 활용하여 함수 문서화를 위한 텍스트 생성 모델을 훈련하고 평가하며, 향후 독립된 테스트 세트를 통해 코드 문서화 생성 분야의 벤치마킹을 가능하게 할 계획이다.

ABSTRACT

We propose a new shared task for tactical data-to-text generation in the domain of source code libraries. Specifically, we focus on text generation of function descriptions from example software projects. Data is drawn from existing resources used for studying the related problem of semantic parser induction (Richardson and Kuhn, 2017b; Richardson and Kuhn, 2017a), and spans a wide variety of both natural languages and programming languages. In this paper, we describe these existing resources, which will serve as training and development data for the task, and discuss plans for building new independent test sets.

연구 동기 및 목표

• 소스 코드 라이브러리에서 데이터에서 텍스트로의 생성을 위한 공유 과제를 설정하는 것, 특히 함수 문서화에 중점을 두고.
• 기존의 의미 분석기 유도 연구에서 유래한 데이터셋을 훈련 및 개발 자원으로 활용하는 것.
• 다국어 프로그래밍 및 자연어 입력을 지원하여 코드 문서화에서의 다국어 일반화 능력을 향상시키는 것.
• 독립된 테스트 세트를 설계하고 계획하여 코드-텍스트 모델의 공정한 평가를 가능하게 하는 것.
• 코드와 인간이 읽을 수 있는 문서화를 연결함으로써 소프트웨어 공학 분야에서 자연어 생성을 발전시키는 것.

제안 방법

• 이 방법은 이전의 의미 분석기 유도 연구(Reichardt와 Kuhn, 2017a,b)에서 유래한 기존 데이터셋을 훈련 및 개발 데이터로 활용한다.
• 이 접근법은 함수 수준의 코드 구조를 자연어 설명으로 매핑하는 데 중점을 두며, 이를 순서열 간 생성 작업으로 간주한다.
• 이 프레임워크는 여러 프로그래밍 언어와 자연어를 지원하여 다국어 모델 훈련 및 평가를 가능하게 한다.
• 과제는 공유 챌린지 형식으로 구성되며, 표준화된 평가 프로토콜과 별도로 공개될 테스트 세트를 포함한다.
• 이 방법은 입력이 코드 스니펫이고 출력이 기술적 자연어 주석인 전략적 데이터-텍스트 생성에 중점을 둔다.
• 시스템은 확장 가능하도록 설계되어 연구자들이 다양한 신경 순서열 모델을 코드-텍스트 생성 문제에 적용할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 기존 모델들이 소스 코드에서 정확하고 자연스러운 함수 설명을 생성하는 데 얼마나 효과적인가?
• RQ2 다국어 훈련 데이터가 코드-텍스트 생성에서 제로샷 또는 피처샷 일반화에 얼마나 기여하는가?
• RQ3 생성된 문서화의 품질이 소스 코드의 복잡성과 구조와 어떻게 관련이 있는가?
• RQ4 다양한 프로그래밍 언어의 구조를 자연어 설명과 정렬하는 데 발생하는 주요 과제는 무엇인가?
• RQ5 표준화된 테스트 세트가 코드-텍스트 생성 모델 간의 재현 가능성과 비교 가능성 향상에 어떻게 기여하는가?

주요 결과

• 논문은 의미 분석기 유도 연구에서 유래한 기존 데이터셋을 활용하여 코드-텍스트 생성을 위한 공유 과제 프레임워크를 수립한다.
• 훈련 및 개발 데이터는 여러 프로그래밍 언어와 자연어를 포함하여 다국어 평가를 가능하게 한다.
• 저자들은 공유 과제에서 편향 없는 모델 평가를 보장하기 위해 독립된 테스트 세트를 공개할 계획이다.
• 이 챌린지는 실제 소프트웨어 문서화 생성을 위한 신경 순서열 모델의 벤치마킹을 지원하도록 설계되어 있다.
• 이 작업은 재현 가능성과 다국어 지원에 중점을 두어 향후 자동 문서화 생성 분야의 연구 기반을 마련한다.
• 이 과제는 공식적으로 INLG 2017 공유 과제 트랙의 일부로 제시되어 학술적 인정과 표준화를 반영한다.