[論文レビュー] Latent Predictor Networks for Code Generation

Ling Wang, Edward Grefenstette+5 more|arXiv (Cornell University)|Mar 22, 2016

Natural Language Processing Techniques参考文献 28被引用数 103

ひとこと要約

潜在予測ネットワーク（LPNs）を導入し、複数の入力予測因子を条件としてコードを生成する。構造化アテンションとコード圧縮を特徴とし、新しいTCGカードデータセットとDjangoコーパスで最先端の結果を達成。

ABSTRACT

Many language generation tasks require the production of text conditioned on both structured and unstructured inputs. We present a novel neural network architecture which generates an output sequence conditioned on an arbitrary number of input functions. Crucially, our approach allows both the choice of conditioning context and the granularity of generation, for example characters or tokens, to be marginalised, thus permitting scalable and effective training. Using this framework, we address the problem of generating programming code from a mixed natural language and structured specification. We create two new data sets for this paradigm derived from the collectible trading card games Magic the Gathering and Hearthstone. On these, and a third preexisting corpus, we demonstrate that marginalising multiple predictors allows our model to outperform strong benchmarks.

研究の動機と目的

• 複数の予測因子で出力を条件付ける必要性を単一のソフトマックスを超えて動機づける。
• 訓練時に予測因子の選択を周辺化するための潜在予測ネットワーク（LPNs）を提案する。
• 複数のフィールドを持つ構造化入力へアテンションを拡張する。
• 新しいMTG/HSデータセットを用いて自然言語と構造化仕様からのコード生成を実証する。
• 強力なベースラインに対する改善を示し、圧縮やポインターネットワークなどの要素を分析する。

提案手法

• 共通の射影と構造化アテンションを用いて、サイズが異なる複数の入力フィールドをアテンションできるよう、注意機構ベースのseq2seqモデルを拡張する（式4–5）。
• 生成されたセグメントの系列と予測因子の周辺尤度をモデル化する潜在予測ネットワークを定義する（式7）。
• 3つの予測タイプを導入する：文字生成、単一フィールドからのコピー、テキストフィールドからのコピー（ポインタネットワーク）。
• 潜在予測系列を周辺化するために、順伝播-逆伝播の動的計画法で訓練する（Semi-Markovモデルの前向き・後向き）。
• スタックベースのビーム探索でデコードし、同一出力を生成する経路をマージする。

実験結果

リサーチクエスチョン

• RQ1 ニューラルアーキテクチャは、異なる粒度のセグメントを扱いながら、複数の予測因子を周辺化して出力を生成できるか。
• RQ2 複数の入力フィールドに対する構造化アテンションは、混在する自然言語と構造化仕様からのコード生成を改善するか。
• RQ3 新しいMTG/HSデータセットとDjangoコーパスで、ポインタネットワークを用いたLPNは強力なベースラインを上回るか。
• RQ4 コード圧縮が訓練効率と生成品質に与える影響は何か。
• RQ5 システムはカードの重要属性を生成コードにどれだけ正確にコピーできるか。

主な発見

データセット	BLEU (MTG)	正解率 (MTG)	BLEU (HS)	正解率 (HS)	BLEU (Django)	正解率 (Django)
Retrieval	54.9	0.0	62.5	0.0	18.6	14.7
Phrase	49.5	0.0	34.1	0.0	47.6	31.5
Hierarchical	50.6	0.0	43.2	0.0	35.9	9.5
Sequence	33.8	0.0	28.5	0.0	44.1	33.2
Attention	50.1	0.0	43.9	0.0	58.9	38.8
Our System	61.4	4.8	65.6	4.5	77.6	62.3
– C2W	60.9	4.4	67.1	4.5	75.9	60.9
– Compress	-	-	59.7	6.1	76.3	61.3
– LPN	52.4	0.0	42.0	0.0	63.3	40.8
– Attention	39.1	0.5	49.9	3.0	48.8	34.5

• LPNベースのモデルと構造化アテンションおよびコード圧縮は、MTG、HS、Djangoデータセットでベースラインを上回る。
• MTG、HS、Djangoでは、従来のベースラインが有効なコードを生成できない箇所で、当システムはBLEU値の向上と非ゼロ精度を達成。
• 圧縮により長いコード列の訓練が可能となり、品質の損失は最小限でデコード性能は維持される。
• ポインタネットワークは重要で、LPNコンポーネントを除去すると性能が著しく低下する。
• 文字レベル生成とコピー機構の組み合わせは強力な性能を発揮し、特にカード名や数値属性のコピーに有効。