[論文レビュー] NAPS: Natural Program Synthesis Dataset

Maksym Zavershynskyi, Alexander Skidanov+1 more|arXiv (Cornell University)|Jul 6, 2018

Software Engineering Research参考文献 15被引用数 8

ひとこと要約

NAPSは、競技プログラミングから得た人間が書いた問題文とエキスパートの解答を含む大規模で現実世界のプログラム合成データセットを提供する。UAST形式のコードと入力/出力の例を用いており、最良のベースラインモデルでも8.8%の正確性にとどまっていることから、このデータセットの複雑さと、神経的プログラム合成分野における今後の研究の余地が大きいことが示されている。

ABSTRACT

We present a program synthesis-oriented dataset consisting of human written problem statements and solutions for these problems. The problem statements were collected via crowdsourcing and the program solutions were extracted from human-written solutions in programming competitions, accompanied by input/output examples. We propose using this dataset for the program synthesis tasks aimed for working with real user-generated data. As a baseline we present few models, with the best model achieving 8.8% accuracy, showcasing both the complexity of the dataset and large room for future research.

研究の動機と目的

• 競技プログラミングから実際の問題文とエキスパートの解答を用いて、現実的で大規模なプログラム合成データセットを作成すること。
• 合成的または簡略化された入力ではなく、自然言語の仕様を用いたニューラルプログラム合成の研究を支援すること。
• 変数、制御構造、非自明な論理を含む複雑で現実世界のプログラミングタスクにおけるモデルの評価のためのベンチマークを提供すること。
• 未見の問題構造への一般化、少サンプル学習、データ拡張に関する今後の研究を可能にすること。
• 多様で自然に書かれた問題記述と完全なプログラムの解答を含む、既存のデータセットにおけるギャップを埋めること。

提案手法

• データセットは、CodeForcesから完全なプログラムの解答を収集し、それらをUAST形式に変換することで、異なる言語間の構文を統一した。
• 問題文は、読解性と一般化性を高めるために、指示的で高水準の文体で、競技プログラマーからクラウドソーシングされた。
• 各解答は、入力/出力の例とスキーマ定義とペアにされ、テストベースの評価を可能にした。
• ベースラインモデルの学習のために、自然言語の変化を模倣するように、1つの解答あたり300件の合成問題文が生成された。
• ベースラインモデルには、ビームサーチと永続的木データ構造を用いたシーケンス・ツー・シーケンスおよびシーケンス・ツー・ツリーのアーキテクチャが含まれる。
• シーケンス・ツリー・モデルは、永続的木を用いて、探索中に複数の候補プログラムを効率的に管理し、デコーダーは各ステップで左端の未完了ノードを展開する。

実験結果

リサーチクエスチョン

• RQ1 神経モデルは、自然言語で記述された複雑で現実世界のプログラミング問題に一般化できるか？
• RQ2 実際の人間が書いた問題文を用いた場合と、合成的または簡略化されたものを使った場合とで、モデルの性能にどのような差が生じるか？
• RQ3 未知語（OOV）トークンの処理が、プログラム合成の正確性に与える影響は何か？
• RQ4 永続的木を用いたシーケンス・ツリー・デコーディングは、効率性と正確性の両面でどの程度向上をもたらすか？
• RQ5 論理的な冗長性がある場合、合成されたプログラムはどの程度頑健であり、誤った構文があってもテストケースに合格できるか？

主な発見

• 最も性能の良いベースラインモデルである、OOV処理を備えたシーケンス・ツリー・モデルは、テストセットで8.8%の正確性を達成した。これは、さらなる改善の余地が大きいことを示している。
• OOVコピー機能を備えたシーケンス・ツリー・モデルは7.9%の正確性を達成し、vanillaのシーケンス・ツー・シーケンス・モデル（0%）を上回った。
• 50%の正確性指標によると、合成されたプログラムの11.2%が少なくとも半分のテストケースに合格しており、完全な正しさよりも部分的な正しさのほうが一般的であることが示唆された。
• 構文エラー（例：冗長なif節）があっても、多くの場合、論理的には正しく、すべてのテストケースに合格していた。
• モデルは問題文の冗長さや希少語に対して非常に感受性が高かったため、人間の文章におけるスタイルのばらつきが一般化の課題として残っていることがわかった。
• データセットには2,231件の学習例と485件のテスト例が含まれており、事前学習やデータ拡張に使用可能な16,410件のラベルなし例も含まれている。