[論文レビュー] Ain't Nobody Got Time For Coding: Structure-Aware Program Synthesis From Natural Language

Jakub Bednarek, Karol Piaskowski+1 more|arXiv (Cornell University)|Oct 23, 2018

Software Engineering Research参考文献 19被引用数 5

ひとこと要約

本論文は、自然言語（NL）から構造に配慮したプログラム合成を実現する、ニューラルエンドツーエンドフレームワークSAPSを提案する。潜在ベクトルを介してNL仕様とコードのASTを結ぶために、ソフトアテンションと新規の信号伝播を備えた二重再帰LSTMデコーダーを用いる。後処理を伴わず、92%を超える正確性を達成し、複数文からなるNL仕様の大量データセットにおいて、先行手法を上回る性能を発揮する。

ABSTRACT

Program synthesis from natural language (NL) is practical for humans and, once technically feasible, would significantly facilitate software development and revolutionize end-user programming. We present SAPS, an end-to-end neural network capable of mapping relatively complex, multi-sentence NL specifications to snippets of executable code. The proposed architecture relies exclusively on neural components, and is trained on abstract syntax trees, combined with a pretrained word embedding and a bi-directional multi-layer LSTM for processing of word sequences. The decoder features a doubly-recurrent LSTM, for which we propose novel signal propagation schemes and soft attention mechanism. When applied to a large dataset of problems proposed in a previous study, SAPS performs on par with or better than the method proposed there, producing correct programs in over 92% of cases. In contrast to other methods, it does not require post-processing of the resulting programs, and uses a fixed-dimensional latent representation as the only interface between the NL analyzer and the source code generator.

研究の動機と目的

• 後処理を伴わず、自然言語仕様からエンドツーエンドのニューラルプログラム合成を可能にすること。
• 固定次元の潜在空間を用いて、NL記述とコードASTの構造的・意味的対応をモデル化すること。
• 事前学習済みコンponentとアテンション機構を活用することで、プログラム合成の汎化性能と正しさを向上させること。
• ニューラルアーキテクチャのみで、複雑なNL入力から構文的にも意味的にも正しいコードを信頼性高く生成できることを示すこと。
• 信号伝播とアテンション機構が、潜在表現から複雑なプログラム構造をデコードする際に果たす有効性を調査すること。

提案手法

• 入力された自然言語を300次元の単語ベクトルに変換するために、事前学習済みGloVe埋め込みを用いる。
• 4層の双方向LSTMが単語埋め込みを処理し、固定サイズの潜在表現（$h^{(latent)}$）にマップする。
• デコーダーは、水平方向および垂直方向の状態伝播を可能にする新規の信号伝播戦略を備えた二重再帰LSTM（DRNN）アーキテクチャを採用する。
• 潜在ベクトル上でソフトアテンションを適用し、デコーダーがASTノードを生成する際に意味的コンテンツに整合するように誘導する。
• デコーダーは、木構造の変換器（tree2tree autoencoder）を用いて事前学習可能であり、これにより初期化が改善され、エンドツーエンド学習における性能向上が可能になる。
• トレーニングおよび推論時に木構造のASTを効率的に処理するため、動的バッチ処理が用いられる。

実験結果

リサーチクエスチョン

• RQ1 完全にニューラル的でエンドツーエンドのアーキテクチャは、複数文からなる自然言語仕様から直接、正しい構文的にも正しいプログラムを生成できるか？
• RQ2 固定次元の潜在表現は、プログラム合成のためのNL仕様の意味的・構造的内容をどれだけ的確に捉えられるか？
• RQ3 二重再帰デコーダーにおける新規の信号伝播方式とソフトアテンションが、プログラム合成の正確性をどの程度向上させるか？
• RQ4 事前学習済みデコーダーは、入力NLシーケンスに直接注目する必要がなくても、エンドツーエンドのプログラム合成における性能向上に寄与できるか？
• RQ5 モデルは未観測の仕様に対してどの程度一般化できるか？ また、ターゲットと同一でない場合でも、合成されたプログラムの何パーセントが意味的に正しいか？

主な発見

• SAPSはテストセットで92.14%のプログラム正答率を達成し、合成されたプログラムのうち92.98%がすべての実行可能なテストを通過した。
• テスト中に構文的に誤りのあるプログラムは一切生成されず、潜在表現からの構文的汎化性能が非常に高いことが示された。
• 92%以上のケースで、ターゲットプログラムの完全なコピーが生成された。これは、構造的・論理的整合性の高い忠実度を示している。
• 学習可能なデコーダーと固定（事前学習済み）デコーダーの性能差から、エンドツーエンドの適応が高精度を達成するために不可欠であることが明らかになった。
• 潜在ベクトル上でのみ動作するソフトアテンション機構は、性能向上に顕著な寄与を示しており、潜在空間の情報量の高さが裏付けられた。
• 不完全なプログラムでも、しばしば50%以上のテストを通過しており、意味的に有用なコード断片を含んでいることが示され、部分的正しさにおけるロバストネスが裏付けられた。