[論文レビュー] Neural Guided Constraint Logic Programming for Program Synthesis

Lisa Zhang, Gregory Rosenblatt+6 more|arXiv (Cornell University)|Sep 8, 2018

Software Engineering Research被引用数 5

ひとこと要約

この論文では、miniKanrenを用いたプログラム合成のためのニューラルガイド付き制約論理プログラミング手法を提案する。ニューラルモデル（RNN または GNN）が、miniKanrenの内部的制約表現を処理することで、探索を高速化する。この手法は、ベースライン手法と比較して、合成速度を顕著に向上させ、より大きな問題への一般化性能も向上させる。

ABSTRACT

Synthesizing programs using example input/outputs is a classic problem in artificial intelligence. We present a method for solving Programming By Example (PBE) problems by using a neural model to guide the search of a constraint logic programming system called miniKanren. Crucially, the neural model uses miniKanren's internal representation as input; miniKanren represents a PBE problem as recursive constraints imposed by the provided examples. We explore Recurrent Neural Network and Graph Neural Network models. We contribute a modified miniKanren, drivable by an external agent, available at https://github.com/xuexue/neuralkanren. We show that our neural-guided approach using constraints can synthesize programs faster in many cases, and importantly, can generalize to larger problems.

研究の動機と目的

• プログラミング・バイ・エクサムプル（PBE）問題におけるプログラム合成の探索が遅いという課題に対処すること。
• 小さな例にとどまらず、より大きな・より複雑なPBE問題への一般化を向上させること。
• miniKanrenの内部的制約表現を入力として用いることで、ニューラルモデルと制約論理プログラミングを統合すること。
• 探索のガイドを強化するために、外部から制御可能な改良版のminiKanrenを開発すること。
• RNNおよびGNNアーキテクチャが制約ベースのプログラム合成をどのようにガイドするかを評価すること。

提案手法

• ニューラルモデルは、内部的制約表現を入力として用いて、miniKanrenにおける有望な探索パスを予測するように訓練される。
• ニューラルモデルは、PBE問題の再帰的制約構造を処理するために、再帰ニューラルネットワーク（RNN）またはグラフニューラルネットワーク（GNN）を用いる。
• システムは、ニューラルモデルを外部エージェントとして統合し、miniKanrenの探索を効率化する。
• 改良されたminiKanrenは外部制御をサポートしており、ニューラルモデルが探索プロセスを動的に制御できる。
• miniKanrenにおける制約表現は、入出力例から導出され、プログラム構造に関する再帰的論理的制約を形成する。
• このアプローチにより、有望な制約ブランチに焦点を当てることで、正しいプログラムへの収束が高速化される。

実験結果

リサーチクエスチョン

• RQ1 ニューラルモデルは、PBE合成における制約論理プログラミングを効果的にガイドできるか？
• RQ2 ニューラルガイド付き探索は、ガイドなしのminiKanrenと比較して、どのように探索効率を向上させるか？
• RQ3 ニューラルガイド付きアプローチは、学習分布を超えたより大きなPBE問題にも一般化できるか？
• RQ4 RNNとGNNアーキテクチャは、制約ベースの探索をガイドする上で、どのように比較できるか？
• RQ5 miniKanrenの内部的制約表現を用いることで、モデルのパフォーマンスはどの程度向上するか？

主な発見

• ニューラルガイド付きアプローチは、複数のPBEベンチマークにおいて、ベースラインのminiKanrenと比較して合成時間を顕著に短縮した。
• この手法は、小さな例セットを超えた大きな問題に対しても効果的に一般化され、スケーラビリティを示した。
• RNNおよびGNNの両アーキテクチャは探索効率を向上させたが、構造的制約に対してはGNNがより優れたパフォーマンスを示した。
• ニューラルガイド付きminiKanrenの統合により、関連する制約ブランチに焦点を当てることで、正しいプログラムへの収束が高速化された。
• GitHubで公開されている改良版miniKanrenシステムは、外部エージェント制御をサポートしており、ニューラルガイドを即座に統合可能である。
• 正しさを維持したままに合成が高速化されたことから、制約表現に対するニューラルガイドの有効性が裏付けられた。