[論文レビュー] Interactive Program Synthesis

Vu Le, Daniel Perelman+4 more|arXiv (Cornell University)|Mar 10, 2017

Software Engineering Research参考文献 11被引用数 8

ひとこと要約

本論文は、不完全な仕様からのプログラム合成におけるパフォーマンスと正しさを向上させるために、段階的合成、段階別問題定式化、フィードバックベースの意図の最適化の3つの次元に沿ってインタラクティビティを形式化することで、インタラクティブなプログラム合成フレームワークを提案する。このアプローチは収束速度とユーザーの信頼性を顕著に向上させ、実世界の事例において会話型の明確化が他のモデルを上回ることを示している。

ABSTRACT

Program synthesis from incomplete specifications (e.g. input-output examples) has gained popularity and found real-world applications, primarily due to its ease-of-use. Since this technology is often used in an interactive setting, efficiency and correctness are often the key user expectations from a system based on such technologies. Ensuring efficiency is challenging since the highly combinatorial nature of program synthesis algorithms does not fit in a 1-2 second response expectation of a user-facing system. Meeting correctness expectations is also difficult, given that the specifications provided are incomplete, and that the users of such systems are typically non-programmers. In this paper, we describe how interactivity can be leveraged to develop efficient synthesis algorithms, as well as to decrease the cognitive burden that a user endures trying to ensure that the system produces the desired program. We build a formal model of user interaction along three dimensions: incremental algorithm, step-based problem formulation, and feedback-based intent refinement. We then illustrate the effectiveness of each of these forms of interactivity with respect to synthesis performance and correctness on a set of real-world case studies.

研究の動機と目的

• 不完全な仕様からのプログラム合成におけるパフォーマンスと正しさの課題、特にプログラミング経験のないユーザーを対象に解決すること。
• ユーザーのインタラクションを3つの次元（段階的、段階別、フィードバックベースの最適化）に沿って形式化することで、プログラム合成におけるインタラクティビティを形式化すること。
• 行動可能なインタラクティブなフィードバックメカニズムを通じて、ユーザーの認知的負担を軽減し、合成されたプログラムに対する信頼性を高めること。
• 過去の合成状態を再利用し、余分な計算を最小限に抑えることで、リアルタイムのユーザー対応システムにおける効率的な合成を可能にすること。
• 曖昧性を解消するための明確化クエリを自動生成することができる再利用可能なドメイン固有の仮説生成コンponentを開発すること。

提案手法

• 段階的アルゴリズム、段階別問題定式化、フィードバックベースの意図の最適化の3つの次元に沿って、プログラム合成におけるユーザーのインタラクションを形式化すること。
• 候補となるプログラムを分析し、曖昧性を低減するための的を射ねた明確化クエリを生成する独立した「仮説生成コンponent」を導入すること。
• フィードバックループ中に、候補となるプログラムの間を最も効果的に区別できる入力例を選択するために、曖昧性の尺度を用いること。
• アクティブラーニングの原則をプログラム合成に適応し、ラベルではなく、新しい合成イテレーションを引き起こす行動可能な制約となるクエリを用いること。
• オラクルガイドドインダクティブシンセシス（OGIS）形式へとインタラクティブな合成プロセスをマッピングし、CEGISの変種から理論的保証を得ること。
• 複合的なDSLを設計し、段階別合成を可能にすることで、ユーザーが複雑なタスクをより小さな、管理しやすい部分問題に分解できるようにすること。

実験結果

リサーチクエスチョン

• RQ1 不完全な仕様からのプログラム合成におけるパフォーマンスと正しさを向上させるために、インタラクティビティをどのように形式化できるか？
• RQ2 段階的合成は、ユーザーが感じ取る遅延を低減し、応答性を向上させるために果たす役割は何か？
• RQ3 会話型の明確化などの異なるフィードバックメカニズムは、収束速度とユーザーの信頼性にどのように影響を与えるか？
• RQ4 ドメイン固有の仮説生成コンponentを設計し、候補となるプログラム間の曖昧性を解消する明確化クエリを自動生成できるか？
• RQ5 OGIS形式は、リアルタイムフィードバックを伴う、ユーザーがガイドするインタラクティブな合成をサポートするために、どの程度拡張可能か？

主な発見

• 会話型の明確化は、収束速度とユーザーの信頼性の両面で他のインタラクションモデルを上回り、フィードバックベースの最適化の有効性を示している。
• 段階的合成により、過去の計算を再利用することで応答時間が短縮され、インタラクティブな環境におけるユーザー体験が顕著に向上した。
• 段階別問題定式化により、ユーザーは複雑なタスクを分解可能となり、結果として収束が速くなり、合成問題の管理が容易になった。
• 仮説生成コンponentは、曖昧な入力を的確に特定し、ランダムまたはヒューリスティックベースのクエリ選択よりも、候補プログラムの空間をより効果的に縮小する的を射ねたクエリを生成した。
• アクティブラーニングの原則をプログラム合成に統合することで、より少ないがより情報量の多いクエリが可能となり、正しいプログラムに到達するためのユーザーのインタラクション回数が削減された。
• OGIS形式への形式的マッピングにより理論的整合性が確立され、標準的なCEGIS条件のもとで、反例に基づくクエリが保証された収束を達成することが可能になった。