[論文レビュー] Data-Driven Program Completion

Yanxin Lu, Swarat Chaudhuri+2 more|arXiv (Cornell University)|May 25, 2017

Software Engineering Research参考文献 20被引用数 11

ひとこと要約

本論文では、プログラマーが提供するドラフト（不完全なコード、コメント、テストケースを含む）と、350万件の実世界Javaスニペットから構成されるデータベースを組み合わせることで、コード補完を自動化するデータ駆動型合成手法「プログラムスプライシング」を紹介する。この手法は、関連性に基づくスニペット検索と、コードレットの組み合わせ的列挙を用いて、効率的にプログラムを完成させる。自動ベンチマークおよびユーザースタディーの両方で、顕著な生産性向上が確認された。

ABSTRACT

We introduce program splicing, a programming methodology that aims to automate the commonly used workflow of copying, pasting, and modifying code available online. Here, the programmer starts by writing a "draft" that mixes unfinished code, natural language comments, and correctness requirements in the form of test cases or API call sequence constraints. A program synthesizer that interacts with a large, searchable database of program snippets is used to automatically complete the draft into a program that meets the requirements. The synthesis process happens in two stages. First, the synthesizer identifies a small number of programs in the database that are relevant to the synthesis task. Next it uses an enumerative search to systematically fill the draft with expressions and statements from these relevant programs. The resulting program is returned to the programmer, who can modify it and possibly invoke additional rounds of synthesis. We present an implementation of program splicing for the Java programming language. The implementation uses a corpus of over 3.5 million procedures from an open-source software repository. Our evaluation uses the system in a suite of everyday programming tasks, and includes a comparison with a state-of-the-art competing approach as well as a user study. The results point to the broad scope and scalability of program splicing and indicate that the approach can significantly boost programmer productivity.

研究の動機と目的

• オンラインソースからコードをコピーアンドパーストするという広範でエラーを引き起こしやすい実践を、原理的で自動化された代替手段で解決すること。
• 外部コードの統合における手動でのコード修正やデバッグの負担を軽減し、文脈に応じたプログラム合成を可能にすること。
• オープンソースリポジトリからの実世界コードを知識ベースとして活用することで、プログラム合成のスケーラビリティと正しさを向上させること。
• 自然言語のコメントやテストケースを仕様として用いて、プログラマーが部分的なプログラムを完成させることを支援し、手作業の負担を最小限に抑えること。
• データ駆動型合成の実世界のプログラミングタスクへの有効性を評価し、最先端の手法と比較すること。

提案手法

• システムは、不完全なコード、自然言語のコメント、正しさの制約（例：テストケースやAPI呼び出しシーケンス）を含むプログラマーのドラフトを受け付ける。
• オープンソースリポジトリから抽出された350万件のJavaメソッドから構成されるデータベースを用い、ドラフトの内容に基づいて意味的に関連するコードスニペットを検索する。
• 関連するスニペットを分析して、ドラフトの穴を埋める可能性の高い再利用可能な式や文（コードレット）を抽出する。
• ヒューリスティックを用いて探索空間を削減しながら、これらのコードレットとドラフトを体系的に組み合わせる列挙探索アルゴリズムを実行する。
• 合成プロセスは反復的である：得られたプログラムはさらに変更され、追加の完了ラウンドを再び実行できる。
• 統計モデルを避ける代わりに、人間が書いた実際のコードに基づく組み合わせ的探索に依存することで、意味的・構文的に無意味な出力を低減する。

実験結果

リサーチクエスチョン

• RQ1 実世界のオープンソースリポジトリから抽出したコードスニペットを用いたデータ駆動型合成アプローチは、部分的に書かれたプログラムの補完を効果的に自動化できるか？
• RQ2 一般的なプログラミングタスクにおいて、最先端の合成ツールであるμScalpelと比較して、プログラムスプライシングのパフォーマンスと使いやすさはどの程度か？
• RQ3 実世界のコーディングシナリオにおいて、プログラムスプライシングはプログラマーの作業負荷をどの程度軽減し、生産性を向上させられるか？
• RQ4 実プログラムから抽出したコードレットを用いることで、正しいかつ読みやすい解決策に至る合成プロセスをどの程度効果的に導けるか？
• RQ5 アルゴリズムの変更、GUI開発、コンponentプロトタイピングなど多様なプログラミングタスクを、最小限の仕様で処理できるか？

主な発見

• システムは、コメントとテストケースのみを入力として用いて、日常的なプログラミングタスク（アルゴリズムの変更、GUI開発、HTTPサーバープロトタイピングなど）を成功裏に完了した。
• 最先端の合成ツールであるμScalpelと比較して、プログラムスプライシングは多様なタスクにおいてより広範な適用性と高い成功確率を示した。
• ユーザースタディーの結果、プログラムスプライシングを用いた開発者は、従来のコピーアンドパーストワークフローと比較して、はるかに速く、かつより少ないエラーでタスクを完了した。
• 高いスケーラビリティを達成し、350万件のJavaメソッドから成るコーパスに対して低遅延で合成タスクを処理できた。
• 本番コードから抽出した実際のコードレットの使用により、合成されたプログラムの可読性と正しさが向上し、意味的・構文的バグの発生確率が低下した。
• 反復的合成のラウンドにより、結果の精錬が可能となり、開発者が最小限の再作業で生成コードを段階的に改善・適応できるようになった。