[논문 리뷰] NAPS: Natural Program Synthesis Dataset

Maksym Zavershynskyi, Alexander Skidanov외 1명|arXiv (Cornell University)|2018. 07. 06.

Software Engineering Research참고 문헌 15인용 수 8

한 줄 요약

NAPS는 경쟁 프로그래밍에서 유저가 작성한 문제 기술서와 전문가의 솔루션을 포함하는 대규모 실세계 프로그램 합성 데이터셋을 제공하며, UAST 형식의 코드와 입력/출력 예시를 사용한다. 최고의 베이스라인 모델은 8.8%의 정확도를 기록하여 데이터셋의 복잡성과 자연어 사양에서 신경망 기반 프로그램 합성 분야의 향후 연구에 큰 여건이 있음을 시사한다.

ABSTRACT

We present a program synthesis-oriented dataset consisting of human written problem statements and solutions for these problems. The problem statements were collected via crowdsourcing and the program solutions were extracted from human-written solutions in programming competitions, accompanied by input/output examples. We propose using this dataset for the program synthesis tasks aimed for working with real user-generated data. As a baseline we present few models, with the best model achieving 8.8% accuracy, showcasing both the complexity of the dataset and large room for future research.

연구 동기 및 목표

• 경쟁 프로그래밍에서 실제 문제 기술서와 전문가 수준의 솔루션을 활용하여 현실적이고 대규모의 프로그램 합성 데이터셋을 구축하기 위해.
• 합성되거나 단순화된 입력 대신 자연어 사양을 사용한 신경망 기반 프로그램 합성 연구를 지원하기 위해.
• 변수, 제어 흐름, 비트리비얼한 논리가 포함된 복잡한 실세계 프로그래밍 작업에 대한 모델 평가 기준을 제공하기 위해.
• 미래의 데이터 증강, 소수의 예시 학습, 그리고 새로운 문제 구조로의 일반화를 가능하게 하기 위해.
• 기존 데이터셋의 격차를 보완하기 위해 다양한 자연어로 작성된 문제 기술서와 완전한 프로그램 솔루션을 포함하기 위해.

제안 방법

• 데이터셋은 CodeForces에서 전체 프로그램 솔루션을 수집하고 이를 UAST 형식으로 변환하여 다양한 프로그래밍 언어 간의 문법을 통일시켰다.
• 문제 기술서는 경쟁 프로그래머들로부터 커뮤니티 기반으로 수집되었으며, 독해력과 일반화 능력을 향상시키기 위해 지시적이고 고수준의 글쓰기 스타일을 사용했다.
• 각 솔루션은 입력/출력 예시와 스키마 정의와 함께 제공되어 기반 테스트 기반 평가를 지원한다.
• 베이스라인 모델 훈련을 위해 자연어 변형을 모방하는 심층적 문제 기술서(솔루션당 300개)를 생성했다.
• 베이스라인 모델로는 시퀀스 투 시퀀스 및 시퀀스 투 트리 아키텍처를 사용했으며, 비트리비얼한 디코딩을 위한 비틀림 트리 데이터 구조를 활용했다.
• 시퀀스 투 트리 모델은 비틀림 트리를 사용해 검색 중 다수의 후보 프로그램을 효율적으로 관리하며, 디코더는 각 단계에서 가장 왼쪽에 위치한 완성되지 않은 노드를 확장한다.

실험 결과

연구 질문

• RQ1 신경망 모델은 자연어로 기술된 복잡한 실세계 프로그래밍 문제에 일반화할 수 있는가?
• RQ2 실제 인간이 작성한 문제 기술서를 사용할 경우와 합성되거나 단순화된 문제 기술서를 사용할 경우 모델 성능에 어떤 차이가 있는가?
• RQ3 사전에 없는 단어(OOV) 처리 방식이 프로그램 합성 정확도에 어떤 영향을 미치는가?
• RQ4 비틀림 트리를 사용한 시퀀스 투 트리 디코딩이 프로그램 합성의 효율성과 정확도에 얼마나 기여하는가?
• RQ5 논리적 중복이 있는 프로그램은 얼마나 견고한가? 잘못된 문법에도 테스트 케이스를 통과할 수 있는가?

주요 결과

• 가장 높은 성능을 보인 베이스라인 모델인 OOV 처리 기능을 갖춘 시퀀스 투 트리 모델은 테스트 세트에서 8.8%의 정확도를 기록하여 향후 개선 여지가 크다는 것을 시사한다.
• OOV 복사 기능을 갖춘 시퀀스 투 트리 모델은 7.9%의 정확도를 기록했으며, 이는 순수한 시퀀스 투 시퀀스 모델(0% 정확도)을 능가하는 성능을 보였다.
• 50% 정확도 기준으로는 합성된 프로그램 중 11.2%가 최소한 절반의 테스트 케이스를 통과하여 부분 정확성이 전체 정확성보다 더 흔한 현상임을 보여주었다.
• 모델이 문법 오류를 일으켜도(예: 중복된 if 문), 프로그램은 종종 논리적으로 정확하고 모든 테스트 케이스를 통과하는 경우가 있었다.
• 모델는 문제 기술서의 어조와 희귀어의 영향을 매우 민감하게 반응하여 인간의 글쓰기 스타일의 다양성이 일반화 능력 향상에 여전히 도전 과제임을 보여주었다.
• 데이터셋은 학습 예제 2,231개와 테스트 예제 485개를 포함하며, 사전학습 및 데이터 증강을 위해 16,410개의 레이블이 없는 예제가 제공된다.