[논문 리뷰] Toward Code Generation: A Survey and Lessons from Semantic Parsing

Celine Lee, Justin Gottschlich외 1명|arXiv (Cornell University)|2021. 04. 26.

Software Engineering Research참고 문헌 87인용 수 9

한 줄 요약

이 종합 검토는 자연어 의미 해석 및 코드 생성 분야의 연구를 종합적으로 분석하며, 규칙 기반에서 신경 기반 기반의 방법으로의 진화를 강조하고, 감독 학습, 확장성, 실생활 적용 가능성과 같은 핵심 과제를 규명한다. 이는 종단 간 기계 프로그래밍을 위한 기초로 언어에 종속되지 않는 의미 표현을 제안하여 대화형 코드 생성과 반복적 개선을 가능하게 한다.

ABSTRACT

With the growth of natural language processing techniques and demand for improved software engineering efficiency, there is an emerging interest in translating intention from human languages to programming languages. In this survey paper, we attempt to provide an overview of the growing body of research in this space. We begin by reviewing natural language semantic parsing techniques and draw parallels with program synthesis efforts. We then consider semantic parsing works from an evolutionary perspective, with specific analyses on neuro-symbolic methods, architecture, and supervision. We then analyze advancements in frameworks for semantic parsing for code generation. In closing, we present what we believe are some of the emerging open challenges in this domain.

연구 동기 및 목표

• 자연어 이해와 프로그램 합성 간 다리를 놓는 코드 생성을 위한 의미 해석 기법에 대한 종합적 개요 제공.
• 의미 해석 기법의 진화 과정을 규칙 기반 시스템에서 현대의 신경망 및 뉴로심볼릭 접근법으로 분석.
• 코드 생성 시스템의 감독, 확장성, 실생활 배포와 관련된 열린 과제 규명.
• 자연어와 코드 간 이중 방향 번역을 가능하게 하기 위해 통합적이고 언어에 종속되지 않는 의미 표현을 주장.
• 코드 생성의 광범위한 사회적 영향, 특히 악용 위험과 교육적 함의를 고려.

제안 방법

• 의미 해석 분야의 50여 년에 걸친 연구를 종합 분석하며, 초기 상징적 시스템부터 현대의 딥러닝 기반 모델까지 다룸.
• 감독 유형에 따라 의미 해석 방법을 분류: 완전 감독, 약한 감독, 자기학습 기반 학습 기법.
• 아키텍처 트렌드 분석: 순서에서 순서로 모델(예: seq2seq), 그래프 기반 표현(예: AMR), 신경 프로그램 합성 구성 요소.
• 자연어와 실행 가능한 코드 사이의 다리를 놓기 위해 중간 논리 형식(예: 논리 형식, 추상 구문 트리)을 사용하는 프레임워크 평가.
• 장문의 코드 생성을 위한 학습 데이터를 합성하기 위해 Snorkel과 같은 약한 감독 도구의 활용 제안.
• 대화형 AI 통합을 통해 자연어 피드백를 통한 반복적 코드 개선을 지원할 것을 주장.

실험 결과

연구 질문

• RQ1 코드 생성에서 의미 해석 기법은 상징적 접근에서 신경망 및 뉴로심볼릭 접근법으로 어떻게 진화해 왔는가?
• RQ2 현재의 감독 학습 패러다임이 코드 생성을 위한 의미 해석 모델 훈련에 있어 핵심적인 한계는 무엇인가?
• RQ3 통합된 의미 표현은 자연어와 코드 간 이중 방향 번역을 어떻게 가능하게 하는가?
• RQ4 짧은 코드 스니펫이 아닌 전체적인 복잡한 프로그램을 생성하기 위해 의미 해석 모델을 어떻게 확장할 수 있는가?
• RQ5 사용자 중심이면서도 안전한 코드 생성 시스템을 설계하기 위해선 어떤 접근이 필요한가? 특히 악용과 부정적 사회적 영향을 최소화하기 위해선?

주요 결과

• 신경 기반 의미 해석 모델은 특히 구조화된 중간 표현을 결합할 경우 코드 생성 성능을 크게 향상시켰다.
• 약한 감독 및 데이터 합성 도구(예: Snorkel)를 활용하면 고비용의 인간 레이블링 데이터셋에 대한 의존도를 줄일 수 있다.
• 현재의 모델들은 일반적으로 짧은 코드 스니펫만 생성하므로 실제 프로그래밍 작업에 대한 적용 가능성에 한계가 있다.
• 종단 간 기계 프로그래밍 파이프라인(예: 대화형 코드 개선 포함)을 가능하게 하기 위해 통합적이고 언어에 종속되지 않는 의미 표현이 필수적이다.
• 악성 코드 생성이나 성능이 열 劣한 프로그램 생성 등의 악용 위험이 존재하므로, 사전에 안전성을 확보하는 설계 접근이 필요하다.
• 사용자 연구 결과에 따르면 현재의 코드 생성 도구가 프로그래머의 생산성을 크게 향상시키지 못하고 있으며, 이는 더 나은 사용자 인터페이스와 통합의 필요성을 시사한다.