[論文レビュー] Neural Attribute Machines for Program Generation

Matthew Amodio, Swarat Chaudhuri+1 more|arXiv (Cornell University)|May 25, 2017

Machine Learning and Algorithms参考文献 44被引用数 21

ひとこと要約

Neural Attribute Machines (NAMs) は、再帰的ニューラルネットワーク (RNN) と属性文法を統合し、型安全性や変数スコープなどの構造的制約を厳密に遵守するプログラムの生成を可能にする。入力を論理マシンからの文脈で拡張し、三値損失関数を最適化することで、有効なサンプルのみで訓練された標準的な RNN と比較して、生成過程における文法違反を顕著に低減する。

ABSTRACT

Recurrent neural networks have achieved remarkable success at generating sequences with complex structures, thanks to advances that include richer embeddings of input and cures for vanishing gradients. Trained only on sequences from a known grammar, though, they can still struggle to learn rules and constraints of the grammar. Neural Attribute Machines (NAMs) are equipped with a logical machine that represents the underlying grammar, which is used to teach the constraints to the neural machine by (i) augmenting the input sequence, and (ii) optimizing a custom loss function. Unlike traditional RNNs, NAMs are exposed to the grammar, as well as samples from the language of the grammar. During generation, NAMs make significantly fewer violations of the constraints of the underlying grammar than RNNs trained only on samples from the language of the grammar.

研究の動機と目的

• 型安全性や変数スコープなどの複雑な形式的制約を満たすプログラムを生成するニューラルシーケンスモデルの訓練という課題に対処すること。
• 標準的な RNN が有効なプログラムのみで訓練されていても文法ルールに違反する傾向にあるという制限を克服すること。
• 属性文法を介して、プログラミング言語の制約に関する明示的な背景知識をニューラル生成に統合すること。
• 正しい、法的に誤り（制約下では有効）、および違法（制約違反）の予測を区別する三値損失関数を用いた訓練フレームワークの開発。
• 形式的文法制約を組み込むことで、一般化性能が向上し、制約違反が減少することを実証すること。

提案手法

• NAMs は、再帰的ニューラルネットワーク (RNN) と、プログラムの構文木上の属性文法制約を維持・評価する論理マシンを統合する。
• 入力シーケンスは、現在の生成ステップに関連する構造的制約を表す固定長のコンテキストベクトルで拡張される。
• 三値損失関数が使用され、予測が正しいか、法的に誤り（制約下で有効）か、または違法（制約違反）かに応じてペナルティが異なる。
• 属性文法は、合成的および継承的属性が木の構築過程で型およびスコープ規則を強制する L-属性系として指定される。
• RNN は抽象構文木 (AST) のノードを生成するように訓練され、論理マシンが各ステップで、のみ有効で制約に準拠した生成物が選択されることを保証する。
• このフレームワークにより、ニューラル部が入力データと制約コンテキストの両方に条件付けられたシーケンスの生成を学習できるエンドツーエンド訓練が可能となる。

実験結果

リサーチクエスチョン

• RQ1 ニューラルシーケンスモデルは、型安全性や変数スコープなどの複雑な構造的制約を満たすプログラムを生成するように訓練可能か？
• RQ2 属性文法を介して明示的な文法制約を組み込むことで、標準的な RNN と比較して一般化性能が向上し、制約違反が減少するか？
• RQ3 正しい、法的に誤り、違法の予測を区別する三値損失関数は、学習の安定性および出力品質をどの程度向上させるか？
• RQ4 神経論理ハイブリッドアーキテクチャは、制約付きプログラム生成タスクにおいて、完全にニューラルモデルを上回る性能を発揮できるか？
• RQ5 NAM フレームワークは、プログラム合成を越えて、他の構造的シーケンス生成タスクへも拡張可能か？

主な発見

• 同じデータセットで訓練された標準的な RNN と比較して、NAMs はプログラム生成過程における文法違反の数を顕著に低減する。これは、RNN が有効なプログラムのみで訓練されていても同様に成立する。
• 三値損失関数により、誤りの種別を明確にすることで、より良い学習ダイナミクスが実現され、一般化性能が向上し、違法出力の数が減少する。
• 属性文法コンテキストを入力シーケンスに統合することで、過学習を避けながらも、まれなまたは新しい構造的パターンの処理能力が向上する。
• 有効なプログラムのみで訓練されたヴァニラ RNN でさえ、非無視可能な数の違法プログラムを生成するため、データのみに依存する訓練では、複雑な制約を強制するには不十分である。
• NAM フレームワークは、型の整合性が変数の使用にまたがるような複雑な制約においても、未学習のテストケースにうまく一般化する。標準モデル（例：SGWC）は文脈の変動性のため、この分野で困難を示す。