[論文レビュー] Neural Program Search: Solving Programming Tasks from Description and Examples

Illia Polosukhin, Alexander Skidanov|arXiv (Cornell University)|Feb 12, 2018

Software Engineering Research参考文献 19被引用数 20

ひとこと要約

この論文では、自然言語の記述と入力/出力例から正しいプログラムを生成するために、Seq2Treeニューラルモデルとガイド付き木探索を組み合わせたNeural Program Searchを提案する。LISPにインspiredされたDSLに型制約を適用した構造的プログラムデコードと探索を活用することで、半実験的データセット上で85.8%のテスト精度を達成し、sequence-to-sequenceモデルおよび例のみのベースラインを著しく上回った。

ABSTRACT

We present a Neural Program Search, an algorithm to generate programs from natural language description and a small number of input/output examples. The algorithm combines methods from Deep Learning and Program Synthesis fields by designing rich domain-specific language (DSL) and defining efficient search algorithm guided by a Seq2Tree model on it. To evaluate the quality of the approach we also present a semi-synthetic dataset of descriptions with test examples and corresponding programs. We show that our algorithm significantly outperforms a sequence-to-sequence model with attention baseline.

研究の動機と目的

• 曖昧な自然言語記述と疎な入力/出力例からプログラム合成を行う課題に取り組み、既存手法のスケーラビリティを制限する要因を克服する。
• 純粋なsequence-to-sequenceモデルと例のみのアプローチの限界を乗り越えるために、ニューラル理解と記号的探索を統合する。
• 一般的なプログラミングタスクに十分な表現力を備えつつ、効率的な探索が可能なコンパクトで扱いやすいDSLを設計する。
• 学習済み確率に基づくビーム探索を統合することで、ニューラルシーケンス・ツー・ツリー変換と組み合わせ、プログラム合成の汎化性能と精度を向上させる。
• データ変換型の問題を想定した新しい半実験的データセットAlgoLISPを用いて、アプローチの性能をベンチマークする。

提案手法

• プログラムを抽象構文木（AST）として表現できる静的型システムを備えたLISPにインspiredされたドメイン固有言語（DSL）を設計し、効率的かつ正確なプログラム生成を可能にする。
• 自然言語記述をエンコードし、プログラムの構文木を1文字ずつシンボルとして予測するアテンション付きSeq2Treeモデルを学習する。
• Seq2Treeモデルが出力する確率に基づいて、最も確率の高いプログラム候補を探索する木ビーム探索を実行し、入力/出力例を満たすものだけをフィルタリングする。
• ニューラルモデルが潜在的なプログラムをランク付けし、探索フェーズでテストケースを用いて正しさを検証するハイブリッド探索戦略を採用し、文法的・意味的整合性を保証する。
• 学習および評価のための問題記述、対応するDSLプログラム、テストケースを含む半実験的データセットAlgoLISPを導入する。
• 訪問可能なプログラム数の上限（MAX_VISITED）を設定可能な探索アルゴリズムを実装し、探索効率とモデル品質の分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 DSL上でSeq2Tree生成とガイド付き探索を組み合わせることで、エンドツーエンドのsequence-to-sequenceモデルを上回るプログラム合成精度を達成できるか？
• RQ2 型制約を備えたLISPにインspiredされたDSLは、一般的なプログラミングタスクにおけるコンパクトで効率的かつ正確なプログラム探索をどの程度可能にするか？
• RQ3 自然言語記述と組み合わせた入力/出力例の統合は、プログラム合成の性能にどの程度寄与するか？
• RQ4 探索中に探索するプログラム数が増加するにつれてモデルの性能はどのように変化するか？ これはニューラルモデルの予測品質を示唆するか？
• RQ5 ASTの深さで測定されるプログラムの複雑さは、正しいプログラムの回復能力にどのように影響するか？

主な発見

• Seq2Treeモデルにガイド付き探索を組み合わせた手法は、AlgoLISPデータセットで85.8%のテスト精度を達成し、アテンション付きsequence-to-sequenceベースライン（54.1%）を著しく上回った。
• Seq2Treeと探索の組み合わせにより、次に良いベースラインであるIO2Seq（探索付きで12.8%）と比較して、誤差率が20ポイント以上低下した。
• Seq2Treeモデル単体でも、sequence-to-sequenceベースラインより11%の精度向上を達成し、平坦なシーケンス生成よりも構造的なツリー変換の利点を示した。
• 訪問可能なプログラム数（MAX_VISITED）が増えるほど探索性能が向上したが、Seq2Tree+Searchモデルは急速に収束を示し、初期段階から正しいパスを優先する高品質なニューラル予測であることが示された。
• プログラムの深さが増すと精度が低下したが、深さ5〜7のプログラムに対しても70%を超える精度を達成しており、より複雑なプログラムの合成が困難であるものの、依然として高い性能を示した。
• ニューラルガイドなしの探索オンliーベースラインはたった0.6%の精度にとどまり、効果的なプログラム空間探索にはニューラルガイドが不可欠であることが示された。