[논문 리뷰] On End-to-End Program Generation from User Intention by Deep Neural Networks

Lili Mou, Rui Men외 3명|arXiv (Cornell University)|2015. 10. 25.

Parallel Computing and Optimization Techniques참고 문헌 13인용 수 50

한 줄 요약

이 논문은 자연어 사용자 의도에서 직접 실행 가능한 기능적으로 일관된 소스 코드를 생성하기 위해 순환 신경망(RNN)을 사용하는 엔드 투 엔드 딥 러닝 접근법을 제안한다. 사용자 설명과 해당 코드의 문자 수준 시퀀스로 RNN을 훈련시켜, 문법적으로 올바르고 의미적으로 유의미한 프로그램을 생성하도록 모델을 학습시키며, 프로그래밍 온라인 저지(OJ) 데이터셋에 대한 사례 연구를 통해 가능성을 입증한다.

ABSTRACT

This paper envisions an end-to-end program generation scenario using recurrent neural networks (RNNs): Users can express their intention in natural language; an RNN then automatically generates corresponding code in a characterby-by-character fashion. We demonstrate its feasibility through a case study and empirical analysis. To fully make such technique useful in practice, we also point out several cross-disciplinary challenges, including modeling user intention, providing datasets, improving model architectures, etc. Although much long-term research shall be addressed in this new field, we believe end-to-end program generation would become a reality in future decades, and we are looking forward to its practice.

연구 동기 및 목표

• 딥 뉴럴 네트워크를 사용하여 자연어 사용자 의도에서 직접 실행 가능하고 기능적으로 일관된 코드를 생성하는 것이 가능한지 조사하기.
• RNN이 자연어에서 소스 코드로의 매핑을 엔드 투 엔드 방식으로 문자 단위로 학습시킬 수 있음을 입증하기.
• 프로그램 생성을 위한 사용자 의도 모델링, 데이터셋 정제, 신경망 아키텍처 설계 분야에서의 교차 분야적 과제를 특정하고 해결하기.
• 실제 소프트웨어 엔지니어링 작업, 예를 들어 자동 코드 완성 및 요구사항 기반 코드 합성과 같은 실용적 응용 가능성을 전망하기.

제안 방법

• 자연어 입력과 코드 출력의 시퀀스를 모델링하기 위해 장기 기억 단기 기억(LSTM) 유닛을 사용하는 문자 수준의 RNN을 활용하기.
• 입력으로 자연어 설명, 출력으로 해당 소스 코드를 사용하는 시퀀스 투 시퀀스 프레임워크를 사용하여 RNN을 훈련시키기.
• 각 타임스텝에서 다음 문자를 예측하기 위해 소프트맥스 레이어를 사용하며, 종료 시퀀스 토큰이 생성될 때까지 반복적으로 코드를 생성하기.
• 실제 프로그래밍 작업과 자연어 문제 설명을 포함한 데이터셋을 교육 및 평가 목적으로 온라인 저지 시스템에서 확보하여 모델 훈련 및 평가 수행하기.
• RNN이 코드 생성의 문법적 및 기능적 측면을 어떻게 포착하는지 분석하기 위해 경험적 분석 수행하기.
• 복잡한 사용자 요청을 처리하기 위해 기초 코드 스니펫을 생성하고 조합하는 등의 확장 가능성 탐색하기.

실험 결과

연구 질문

• RQ1 RNN은 자연어 설명에서 직접 엔드 투 엔드 방식으로 문법적으로 올바르고 기능적으로 일관된 소스 코드를 생성할 수 있는가?
• RQ2 자연어에서 코드로의 매핑에 기반해 훈련된 RNN은 프로그래밍 언어의 구조적 및 의미적 측면을 얼마나 잘 모델링할 수 있는가?
• RQ3 엔드 투 엔드 프로그램 생성을 위한 사용자 의도 모델링 및 고품질 데이터셋 정제에서의 주요 과제는 무엇인가?
• RQ4 신경망은 복잡하거나 복합적인 요청에 대해 훈련 중에 볼 수 없었던 새로운 올바른 코드를 일반화하여 생성할 수 있는가?

주요 결과

• RNN 모델은 자연어 설명에서 실행 가능하고 기능적으로 일관된 코드를 성공적으로 생성하여 엔드 투 엔드 프로그램 생성의 가능성을 입증했다.
• 경험적 분석을 통해 RNN이 괄호 쌍, 들여쓰기와 같은 문법적 구조를 매우 효과적으로 포착함을 확인했으며, 스택 기반 기계의 동작과 유사한 성질을 보였다.
• 모델는 의미적 일관성 측면에서 제한된 성능을 보였으며, 일반적으로 컴iles되지 않거나 기능적으로 정확하지 않은 유사한 코드를 생성함으로써 의미 이해의 격차가 있음을 시사했다.
• 프로그래밍 OJ 데이터셋에 대한 사례 연구를 통해 RNN이 문제 사양과 일치하는 코드를 학습하여 생성할 수 있음을 확인했지만, 상당한 오류율과 완전한 기능적 정확성의 부재가 함께 있었다.
• 현재 모델가 다중 연산 또는 맥락에 의존하는 논리적 요소를 포함한 복잡한 사용자 요청을 처리하는 데 어려움을 겪고 있음을 확인했으며, 이는 아키텍처 및 훈련 개선의 필요성을 강조한다.