[논문 리뷰] In-IDE Code Generation from Natural Language: Promise and Challenges

Frank F. Xu, Bogdan Vasilescu외 1명|arXiv (Cornell University)|2021. 01. 27.

Software Engineering Research인용 수 11

한 줄 요약

이 논문은 파이참에서 자연어 쿼리에 기반한 최신 기술을 통합한 IDE 내부 플러그인을 평가하며, 생산성과 정확성에 대해 혼합된 정량적 결과를 도출했지만 개발자 경험은 긍정적이었다. 사용성의 주요 과제를 밝혀내고 향후 AI 기반 코딩 도구 개선을 위한 실질적인 통찰을 제공한다.

ABSTRACT

A great part of software development involves conceptualizing or communicating the underlying procedures and logic that needs to be expressed in programs. One major difficulty of programming is turning concept into code, especially when dealing with the APIs of unfamiliar libraries. Recently, there has been a proliferation of machine learning methods for code generation and retrieval from natural language queries, but these have primarily been evaluated purely based on retrieval accuracy or overlap of generated code with developer-written code, and the actual effect of these methods on the developer workflow is surprisingly unattested. We perform the first comprehensive investigation of the promise and challenges of using such technology inside the IDE, asking "at the current state of technology does it improve developer productivity or accuracy, how does it affect the developer experience, and what are the remaining gaps and challenges?" We first develop a plugin for the IDE that implements a hybrid of code generation and code retrieval functionality, and orchestrate virtual environments to enable collection of many user events. We ask developers with various backgrounds to complete 14 Python programming tasks ranging from basic file manipulation to machine learning or data visualization, with or without the help of the plugin. While qualitative surveys of developer experience are largely positive, quantitative results with regards to increased productivity, code quality, or program correctness are inconclusive. Analysis identifies several pain points that could improve the effectiveness of future machine learning based code generation/retrieval developer assistants, and demonstrates when developers prefer code generation over code retrieval and vice versa. We release all data and software to pave the road for future empirical studies and development of better models.

연구 동기 및 목표

• IDE 내부에서 자연어 기반 코드 생성 및 검색이 개발자 생산성, 코드 품질, 정확성 향상에 기여하는지 조사하기.
• 실제 프로그래밍 작업에서 개발자들이 AI 기반 코딩 도구를 어떻게 상호작용하고 인식하는지 이해하기.
• 실제 개발 워크플로우 내에서 기계학습 기반 코드 생성 및 검색 시스템의 사용성 과제와 격차를 규명하기.
• 향후 AI 기반 소프트웨어 개발 분야 연구를 지원하기 위한 실증 데이터와 오픈소스 도구를 제공하기.

제안 방법

• 빅코드 데이터로 훈련된 최신 모델을 사용하여 파이참 플러그인을 개발하여 코드 생성 및 코드 검색을 통합.
• 자세한 사용자 상호작용(키보드 입력, 코드 편집, 웹 브라우징, IDE 이벤트 등)을 기록하기 위해 가상 환경을 운영.
• 파일 I/O부터 머신러닝 및 데이터 시각화에 이르기까지 다양한 14개의 파이썬 작업을 수행한 다양한 배경의 개발자들을 대상으로 통제된 사용자 연구를 수행.
• 작업 완료 시간, 코드 정확성, 코드 품질 등의 정량적 지표와 설문지를 통한 정성적 피드백을 모두 수집.
• 작업의 복잡도와 의도의 명확성에 따라 개발자들이 코드 생성과 검색 중 어떤 것을 선호하는지 분석.
• 모든 수집된 데이터와 소프트웨어를 공개하여 이 분야의 향후 실증 연구 및 모델 개발을 지원.

실험 결과

연구 질문

• RQ1 IDE 내부 자연어 기반 코드 생성 및 검색 도구 사용이 작업 완료 시간 측면에서 개발자 생산성을 향상시키는가?
• RQ2 수동 코딩 대비 도구가 코드 정확성과 품질 향상에 어느 정도 기여하는가?
• RQ3 실제 프로그래밍 워크플로우에서 개발자들이 도구의 사용성과 유용성에 대해 어떻게 평가하는가?
• RQ4 어떤 조건에서 개발자들이 코드 생성을 코드 검색보다 선호하는가, 그 반대의 경우는?
• RQ5 현행 AI 기반 코딩 도구의 주요 사용성 과제와 한계는 무엇인가?

주요 결과

• 모든 작업에서 통계적으로 유의미한 향상이 없었기 때문에 생산성, 코드 정확성, 품질에 대한 정량적 결과는 결론적으로 불확실했다.
• 개발자들은 도구를 긍정적인 주관적 경험으로 평가하여 사용자 만족도 및 참여도 향상 잠재력이 높다는 것을 시사했다.
• 주요 과제로는 자연어 의도와 실제 필요한 코드 사이의 불일치가 있었으며, 특히 복잡하거나 모호한 쿼리에서 두드러졌다.
• 개발자들은 명확하고 API 중심의 작업(예: 파일 존재 여부 확인)에는 코드 검색을 선호했고, 높은 수준의 논리나 드문 패턴에 대해서는 코드 생성을 선호했다.
• 도구는 문법적으로는 올바른 코드를 생성했지만 의미적으로 잘못되거나 불완전한 경우가 많아 추론 및 맥락 이해의 격차를 드러냈다.
• 연구에서는 현재 모델들이 실제 IDE 워크플로우에서 복잡하거나 맥락에 의존하는 프로그래밍 의도를 이해하는 데 어려움을 겪고 있음을 확인했다.