[논문 리뷰] A Survey on Natural Language Processing for Programming

Qingfu Zhu, Xianzhen Luo외 3명|arXiv (Cornell University)|2022. 12. 12.

Software Engineering Research인용 수 4

한 줄 요약

이 종합 검토는 프로그래밍 언어의 두 핵심 성질인 구조 기반 및 기능 중심 성질을 식별함으로써 프로그래밍을 위한 자연어 처리(NLP4P)를 체계적으로 검토한다. 이 성질들이 작업, 데이터셋, 평가 방법, 기법, 최첨단 모델에 어떻게 영향을 미치는지 분석하고, 현재의 프로그램 이해 및 생성의 한계를 해결하기 위해 반복적, 多국어, 다중 모odal NLP4P 방향을 제안한다.

ABSTRACT

Natural language processing for programming aims to use NLP techniques to assist programming. It is increasingly prevalent for its effectiveness in improving productivity. Distinct from natural language, a programming language is highly structured and functional. Constructing a structure-based representation and a functionality-oriented algorithm is at the heart of program understanding and generation. In this paper, we conduct a systematic review covering tasks, datasets, evaluation methods, techniques, and models from the perspective of the structure-based and functionality-oriented property, aiming to understand the role of the two properties in each component. Based on the analysis, we illustrate unexplored areas and suggest potential directions for future work.

연구 동기 및 목표

• 프로그래밍 언어의 이중 내재 성질인 구조 기반 및 기능 중심 성질이 프로그램 이해 및 생성의 기초가 되는지 식별하고 분석하기.
• 이 두 성질을 기준으로 작업, 데이터셋, 평가 방법, 기법, 모델 전반에 걸쳐 기존 NLP4P 연구를 체계적으로 검토하기.
• 연구가 미처 다루지 않은 분야를 강조하고, 반복적, 다국어, 다중 모달 NLP4P를 포함한 향후 연구 방향을 제안하기.
• 모델 아키텍처에서의 구조 기반 모델링과 평가 및 생성에서의 기능 중심 설계 간의 차별적 역할을 명확히 하기.
• 프로그래밍 언어의 기본 특성과 NLP4P 구성 요소를 정렬함으로써 향후 연구를 위한 체계적인 프레임워크를 제공하기.

제안 방법

• 입력/출력 의미론과 프로그래밍 언어의 구조가 수행하는 역할에 기반해 NLP4P 작업을 구조 기반(예: 요약, 검색, 분류)과 기능 중심(예: 프로그램 합성, 코드 완성)으로 분류하기.
• 구조와 기능의 双중 시각에서 데이터셋과 평가 방법을 분석하여, 구조적 표현과 기능적 정확성이 데이터와 메트릭스에 어떻게 영향을 미치는지 강조하기.
• 기술 및 모델을 조사하면서, 백본 아키텍처(예: 트리 기반, 그래프 기반)가 구조 모델링을 어떻게 지원하는지와, 디코딩 전략 및 테스트 피드백가 기능적 정확성을 어떻게 지원하는지에 집중하기.
• 최첨단 모델을 검토하여, 구조 기반 표현(예: AST, 코드 임베딩)과 기능 중심 학습(예: 테스트 피드백, 실행 정확도)을 어떻게 활용하는지 파악하기.
• 현재 패러다임을 확장하여 향후 연구 방향을 제안하기: 역사적 맥락을 고려한 반복적 NLP4P, 저자원 언어를 위한 다국어 NLP4P, 시각-언어 사전학습을 활용한 다중 모달 NLP4P.
• 체계적 리뷰 프레임워크를 사용하여 기존 연구를 두 성질에 매핑하고, 모델링, 데이터, 평가 분야의 격차를 식별하기.

실험 결과

연구 질문

• RQ1 프로그래밍 언어의 구조 기반 및 기능 중심 성질이 NLP4P 작업 설계에 어떻게 영향을 미치는가?
• RQ2 현재의 데이터셋과 평가 방법이 프로그래밍 언어의 구조적 및 기능적 특성을 어느 정도 반영하고 있는가?
• RQ3 최첨단 모델은 구조 기반 표현과 기능 중심 학습을 어떻게 활용하여 프로그램 이해 및 생성을 수행하는가?
• RQ4 현재 NLP4P 접근법에서 역사적 맥락, 저자원 언어, 다중 모달 입력 관련 핵심 한계는 무엇인가?
• RQ5 반복적 개발, 다국어 학습, 다중 모달 이해를 NLP4P에 통합함으로써 도출될 수 있는 향후 연구 방향은 무엇인가?

주요 결과

• 구조 기반 성질은 모델 아키텍처와 표현 학습의 핵심이며, 트리 기반 및 그래프 기반 모델이 프로그램의 문법과 의미를 더 잘 포착함에 따라 뛰어난 성능을 보였다.
• 기능 중심 성질은 평가에서 핵심적이며, 모델이 기능적으로 정확한 프로그램을 생성해야 하므로, 테스트 피드백은 일반화 및 정확도 향상에 크게 기여한다.
• 현재 모델들은 역사적 맥락을 자주 간과하여 반복적인 작업이 발생한다; 이전 버전과 오류 피드백을 활용하는 반복적 NLP4P는 유망하지만 아직 탐색되지 않은 분야이다.
• 다국어 NLP4P는 데이터 불균형으로 인해 저자원 언어(예: Ruby)에서 성능이 열등하다; 다국어 사전학습은 번역에서 발생하는 누적 오류를 줄이기 위한 확장 가능한 해결책을 제공한다.
• 다중 모달 NLP4P는 아직 초기 단계이며, 현재까지 관련 데이터셋이 존재하지 않는다; 기존의 다중 모달 데이터에 사전학습된 시각-언어 모델(예: CLIP, Flamingo)을 활용하면 시각적 또는 다이어그램 기반 프로그램 명세를 더 잘 이해할 수 있다.
• 영어 및 파이썬, 자바와 같은 주요 언어에서는 뛰어난 성능를 보였지만, 저자원 프로그래밍 언어와 자연어 쌍은 여전히 충분히 지원되지 않아 접근성과 공정성 측면에서 심각한 격차가 존재한다.