[論文レビュー] On End-to-End Program Generation from User Intention by Deep Neural Networks

Lili Mou, Rui Men+3 more|arXiv (Cornell University)|Oct 25, 2015

Parallel Computing and Optimization Techniques参考文献 13被引用数 50

ひとこと要約

本稿では、再帰的ニューラルネットワーク（RNN）を用いたエンドツーエンドのディープラーニング手法を提案し、自然言語によるユーザーの意図から実行可能で意味的に整合性のあるソースコードを直接生成する。ユーザーの記述と対応するコードの文字レベルのシーケンスを用いてRNNを訓練することで、構文的に正しいかつ意味的に意味のあるプログラムを生成する能力を学習する。本手法の有効性は、プログラミングOJデータセットを用いた事例研究によって示された。

ABSTRACT

This paper envisions an end-to-end program generation scenario using recurrent neural networks (RNNs): Users can express their intention in natural language; an RNN then automatically generates corresponding code in a characterby-by-character fashion. We demonstrate its feasibility through a case study and empirical analysis. To fully make such technique useful in practice, we also point out several cross-disciplinary challenges, including modeling user intention, providing datasets, improving model architectures, etc. Although much long-term research shall be addressed in this new field, we believe end-to-end program generation would become a reality in future decades, and we are looking forward to its practice.

研究の動機と目的

• 自然言語によるユーザーの意図から、実行可能で意味的に整合性のあるコードをディープニューラルネットワークを用いて直接生成する可能性を調査すること。
• RNNが自然言語からソースコードへのマッピングをエンドツーエンドで、文字単位で学習できることを実証すること。
• プログラム生成のためのユーザー意図のモデリング、データセットの整備、ニューラルアーキテクチャ設計におけるクロスディシプリナリーな課題を特定し、それらに対処すること。
• このようなモデルが、自動コード補完や要件駆動型コード合成といった実世界のソフトウェア工学タスクにおける実用的応用を実現することを想定すること。

提案手法

• 自然言語入力とコード出力のシーケンスをモデル化するため、長短記憶（LSTM）ユニットを備えた文字レベルのRNNを採用すること。
• 入力として自然言語記述、出力として対応するソースコードを、両方とも文字シーケンスとして表現する、シーケンス・ツー・シーケンスフレームワークを用いてRNNを訓練すること。
• 各時刻ステップで、次に出現する文字を予測するためのソフトマックス層を用い、終了シーケンストークンが生成されるまで繰り返しコードを生成するプロセスを実施すること。
• 教育的オンラインジャッジシステムから得たデータセットを活用し、自然言語による問題記述を伴う実際のプログラミングタスクに対して、モデルの訓練と評価を実施すること。
• RNNが構文的および機能的側面をどのように捉えているかを明らかにするために、実証的分析を実施すること。
• 基本的なコードスニペットの生成や、それらの組み合わせによる複雑なユーザー要請への対応を含む拡張手法を検討すること。

実験結果

リサーチクエスチョン

• RQ1 RNNは、エンドツーエンドのアプローチで、自然言語記述から構文的に正しいかつ意味的に整合性のあるソースコードを直接生成できるか？
• RQ2 自然言語からコードへのマッピングを学習させた場合、RNNはプログラミング言語の構造的および意味的側面をどの程度適切にモデル化できるか？
• RQ3 エンドツーエンドのプログラム生成において、ユーザー意図のモデリングや高品質なデータセットの整備における主な課題は何か？
• RQ4 ニューラルネットワークは、トレーニング時に見られなかった新しい正しいコードを一般化して生成できるか、特に複雑または複合的な要請に対しては？

主な発見

• RNNモデルは、自然言語記述から実行可能で意味的に整合性のあるコードを成功裏に生成し、エンドツーエンドのプログラム生成の実現可能性を示した。
• 実証的分析の結果、RNNは括弧のペアリングやインデントといった構文的構造を特に効果的に捉えていることが判明し、プッシュダウンオートマトンの動作に類似していることが示された。
• モデルの意味的整合性は限定的であり、見た目には妥当なコードを生成するが、しばしばコンパイル不能または機能的に正しくないものが多く、意味理解のギャップが存在することが示された。
• プログラミングOJデータセットを用いた事例研究により、RNNが問題仕様に一致するコードを学習して生成できることを確認したが、顕著な誤り率と完全な機能的正しさの欠如が見られた。
• 本研究では、複数の操作を含む複雑なユーザー要請や文脈依存論理を扱う際に、現在のモデルが困難を示していることが判明し、アーキテクチャ的およびトレーニング上の改善の必要性が浮き彫りになった。