[論文レビュー] In-IDE Code Generation from Natural Language: Promise and Challenges

Frank F. Xu, Bogdan Vasilescu+1 more|arXiv (Cornell University)|Jan 27, 2021

Software Engineering Research被引用数 11

ひとこと要約

この論文は、PyCharm内に統合された最新鋭のコード生成およびリトリーブ技術を用いたIDE内プラグインを評価し、生産性と正しさに関しては混合された定量的結果が得られたが、開発者体験は肯定的であった。本研究では、主な使いやすさの課題を特定し、今後のAI支援開発ツールの改善に向けた実行可能なイン사이트を提供している。

ABSTRACT

A great part of software development involves conceptualizing or communicating the underlying procedures and logic that needs to be expressed in programs. One major difficulty of programming is turning concept into code, especially when dealing with the APIs of unfamiliar libraries. Recently, there has been a proliferation of machine learning methods for code generation and retrieval from natural language queries, but these have primarily been evaluated purely based on retrieval accuracy or overlap of generated code with developer-written code, and the actual effect of these methods on the developer workflow is surprisingly unattested. We perform the first comprehensive investigation of the promise and challenges of using such technology inside the IDE, asking "at the current state of technology does it improve developer productivity or accuracy, how does it affect the developer experience, and what are the remaining gaps and challenges?" We first develop a plugin for the IDE that implements a hybrid of code generation and code retrieval functionality, and orchestrate virtual environments to enable collection of many user events. We ask developers with various backgrounds to complete 14 Python programming tasks ranging from basic file manipulation to machine learning or data visualization, with or without the help of the plugin. While qualitative surveys of developer experience are largely positive, quantitative results with regards to increased productivity, code quality, or program correctness are inconclusive. Analysis identifies several pain points that could improve the effectiveness of future machine learning based code generation/retrieval developer assistants, and demonstrates when developers prefer code generation over code retrieval and vice versa. We release all data and software to pave the road for future empirical studies and development of better models.

研究の動機と目的

• IDE内での自然言語ベースのコード生成およびリトリーブが、開発者の生産性、コード品質、正しさを向上させるかどうかを調査すること。
• 開発者が実際のプログラミングタスクにおいてAI支援開発ツールとどのようにやり取りし、どのように評価するかを理解すること。
• 現実の開発ワークフロー内における機械学習ベースのコード生成およびリトリーブシステムにおける使いやすさの課題とギャップを同定すること。
• 今後のAI支援ソフトウェア開発分野の研究を支援するための実証的データとオープンソースツールを提供すること。

提案手法

• Big Codeデータで訓練された最新鋭のモデルを用いて、コード生成とコードリトリーブを統合したPyCharmプラグインを開発した。
• キーストローク、コード編集、Webブラウジング、IDEイベントを含む細かすぎるユーザーインタラクションを記録するための仮想環境を構築した。
• ファイルI/Oから機械学習およびデータ可視化まで、14種類の多様なPythonタスクを実行する、さまざまな背景を持つ開発者を対象とした制御されたユーザースタディを実施した。
• タスク完了時間、コードの正しさ、コード品質といった定量的指標と、アンケートによる定性的フィードバックを両方収集した。
• タスクの複雑さや意図の明確さに基づいて、開発者がコード生成とリトリーブのどちらを好むかを分析した。
• 収集したすべてのデータとソフトウェアを公開し、本分野における今後の実証的研究およびモデル開発を可能にした。

実験結果

リサーチクエスチョン

• RQ1 IDE内での自然言語ベースのコード生成およびリトリーブツールの使用が、タスク完了時間という観点で開発者の生産性を向上させるか？
• RQ2 手動でのコーディングと比較して、このツールはコードの正しさと品質をどの程度向上させるか？
• RQ3 開発者が実際のプログラミングワークフローにおいて、このツールの使いやすさと有用性をどのように評価するか？
• RQ4 どのような条件下で開発者はコード生成をリトリーブよりも好むのか、逆にリトリーブを好むのか？
• RQ5 現行のAI支援開発ツールが実際の現場で直面する主な使いやすさの課題と制限は何か？

主な発見

• 生産性、コードの正しさ、品質に関する定量的結果は明確ではなく、すべてのタスクにおいて統計的に有意な改善は認められなかった。
• 開発者たちはツールに対して肯定的な主観的体験を報告しており、ユーザー満足度と関与度の高い可能性が示された。
• 自然言語での意図と実際に必要なコードとの不一致が大きな課題であった。特に、複雑または曖昧なクエリでは顕著だった。
• 開発者たちは、明確に定義されたAPI固有のタスク（例：ファイル存在の確認）に対してはリトリーブを好んだが、上位レベルの論理やあまり一般的でないパターンに対してはコード生成を好んだ。
• ツールは文法的に正しいが意味的に誤りまたは不完全なコードを生成することが多く、推論力と文脈理解のギャップが浮き彫りになった。
• 本研究では、現在のモデルが、とりわけ実際のIDEワークフロー内での曖昧さや文脈依存的なプログラミングの意図を理解するのに苦労していることが明らかになった。