[論文レビュー] Synthesizing Imperative Programs from Examples Guided by Static Analysis

Sunbeom So, Hakjoo Oh|arXiv (Cornell University)|Feb 21, 2017

Teaching and Learning Programming参考文献 8被引用数 6

ひとこと要約

本論文では、入出力例と部分コードを入力として受け取り、探索空間を著しく削減するため、列挙型プログラム合成と静的解析を組み合わせた新しいアルゴリズムを提示する。この手法は、オープンソースツールSimplとして実装されており、30の導入的プログラミング問題において平均6.6秒の合成時間を達成し、最適化を施したベースラインと比較して25倍速く、ネストされたループを含む複雑な制御構造を効果的に処理できる。

ABSTRACT

We present a novel algorithm that synthesizes imperative programs for introductory programming courses. Given a set of input-output examples and a partial program, our algorithm generates a complete program that is consistent with every example. Our key idea is to combine enumerative program synthesis and static analysis, which aggressively prunes out a large search space while guaranteeing to find, if any, a correct solution. We have implemented our algorithm in a tool, called SIMPL, and evaluated it on 30 problems used in introductory programming courses. The results show that SIMPL is able to solve the benchmark problems in 6.6 seconds on average.

研究の動機と目的

• 入門的プログラミングの学生を支援する自動化されたシステムを開発すること。このシステムは、不完全なプログラムと入出力例から完全なプログラムを生成する。
• 教育的文脈における既存のプログラム合成技術のスケーラビリティとインタラクティビティの限界を克服すること。
• 教員が提供するフィードバックルールや正解実装の必要性を排除し、例と部分コードにのみ依存すること。
• 最小限の入力から、ループや条件分岐を含む複雑な命令型プログラムを合成できること。
• 正しく効率的かつ安全なシステムを設計すること。すなわち、解が存在する場合には正しく解を保証すること。

提案手法

• アルゴリズムは、穴あきの部分プログラムから始まり、候補プログラムをサイズの増加順に列挙的に探索する。
• 意味的不変条件に基づき、いかなる入出力例を満たせない中間プログラムを静的解析で除外することで、探索空間を削減する。
• 等価なプログラム状態を減らし、重複した探索を避けるために、状態正規化を用いる。
• 形式的意味論に基づく安全を保証する除外技術を適用し、最適化の過程で正しい解を失うことがないことを保証する。
• 与えられたリソース（変数、定数、配列）から動的に選択して、部分プログラムを完成させる。
• 実装であるSimplはオープンソースであり、教育的利用のために公開されている。

実験結果

リサーチクエスチョン

• RQ1 静的解析を列挙型合成と効果的に組み合わせることで、教育的文脈におけるプログラム生成の高速化が可能か？
• RQ2 静的解析による除外処理は、命令型プログラム合成における探索空間をどの程度削減できるか？
• RQ3 最小限の例と部分コードから、ネストされたループのような複雑な制御構造を合成できるか？
• RQ4 実世界の導入的プログラミング問題において、実用的なパフォーマンスでスケーリング可能か？
• RQ5 教員が提供するルールや完全な解答がなくても、正しいプログラムを生成できるか？

主な発見

• Simplは30のベンチマーク問題を平均6.6秒で合成し、教育的利用における高い効率性とインタラクティビティを示した。
• 静的解析で誘導された除外処理により、最適化を施したベースラインと比較して平均実行時間が25倍短縮され、165.5秒から6.6秒にまで低下した。
• 除外処理なしでは、ベースラインアルゴリズムが1時間の制限内で3つの問題でタイムアウトしたため、除外処理の必要性が明確になった。
• 初期の部分プログラムに存在しなくても、ネストされたループを含む複雑な構造のプログラムを効果的に生成できた。
• Simplはわずか数個の入出力例（最大4つ）と最小限のリソースで動作するため、初心者にとってもアクセス可能である。
• ツールは公開されており、オープンソースであるため、再現性が保たれ、教育プラットフォームへの統合も可能である。