[論文レビュー] Deep API Programmer: Learning to Program with APIs

Surya Bhupatiraju, Rishabh Singh+2 more|arXiv (Cornell University)|Apr 14, 2017

Web Data Mining and Analysis参考文献 8被引用数 11

ひとこと要約

この論文では、データ変換のためのAPI関数を核とするドメイン固有言語（DSL）を用いて、入出力例からプログラムを自動で合成する深層学習ベースのプログラミング・バイ・エクサムプル（PBE）システムDapipを紹介する。入出力例を符号化し、DSL空間を探索するために、クロス相関エンコーダと再帰的・逆再帰的ニューラルネットワーク（R3NN）を採用しており、実世界のFlashFillベンチマークで45%の精度を達成し、網羅的ベースラインを著しく上回っている。

ABSTRACT

We present DAPIP, a Programming-By-Example system that learns to program with APIs to perform data transformation tasks. We design a domain-specific language (DSL) that allows for arbitrary concatenations of API outputs and constant strings. The DSL consists of three family of APIs: regular expression-based APIs, lookup APIs, and transformation APIs. We then present a novel neural synthesis algorithm to search for programs in the DSL that are consistent with a given set of examples. The search algorithm uses recently introduced neural architectures to encode input-output examples and to model the program search in the DSL. We show that synthesis algorithm outperforms baseline methods for synthesizing programs on both synthetic and real-world benchmarks.

研究の動機と目的

• 意味的データ変換に制限がある、きめ細やかで表現力に乏しい低レベルのDSLに依存する既存のPBEシステムの限界を是正すること。
• データから神経的合成アルゴリズムを自動で学習することで、プログラム合成における手動のヒューリスティック設計の必要性を低減すること。
• 関数ベースのDSLと深層ニューラルネットワークを用いて、複雑なデータ変換タスクにおける効率的かつスケーラブルなプログラム合成を可能にすること。
• 学習可能な表現を持つ第一級の構成要素としてのAPIをモデル化することで、プログラム合成における汎化性と拡張性を向上させること。

提案手法

• 正規表現ベース、照合、変換APIの3つのAPIファミリーから構成されるドメイン固有言語（DSL）を設計し、構文的および意味的変換を実現する。
• 双方向LSTMに基づくクロス相関エンコーダを用いて、入出力例の固定次元ベクトル表現を生成する。
• 再帰的・逆再帰的ニューラルネットワーク（R3NN）を採用し、段階的なプログラム導出をモデル化し、DSL内での有効な拡張を予測する。
• 数千の合成プログラムとその入出力例を用いて、エンコーダとR3NNをエンドツーエンドで学習させ、神経的合成ポリシーを学習する。
• 学習済みモデルを用いてDSL内で神経的プログラム探索を実行し、手動のルール設計を一切行わずに、入出力例と整合するプログラムを生成する。
• APIの組み合わせの表現力と神経的汎化能力を活用することで、実世界のベンチマークへの汎化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 関数API中心のDSLにおいて、神経ネットワークベースの合成アルゴリズムは、低レベルの文字列操作ではなく、プログラムを効果的に学習して生成できるか？
• RQ2 学習された神経的探索戦略は、データ変換タスクのプログラム合成において、従来の網羅的探索手法をどの程度上回るか？
• RQ3 神経モデルは、日付から月名への変換や州略語への変換といった、意味的変換を含む多様なデータクリーニングパターンに汎化可能か？
• RQ4 構成的構造を持つAPIファーストのDSLを用いることで、神経的プログラム合成のスケーラビリティと正確性にどのような影響を与えるか？

主な発見

• Dapipは238件の実世界のFlashFillベンチマークで45%の精度を達成し、ベースラインの網羅的探索手法を著しく上回っている。
• 神経的合成アプローチは、名前の省略やアドレス解析といった意味的変換を含む、未観測のデータクリーニングタスクに対しても良好に汎化している。
• クロス相関エンコーダは、入出力関係を効果的に捉えており、最小限の例から正確なプログラム予測が可能である。
• R3NNアーキテクチャは、部分的導出をモデル化し、有効なAPI拡張を予測することで、効率的かつ段階的なプログラム構築を可能にしている。
• 神経的コンponentsのエンドツーエンド学習により、プログラム合成における手動で設計されたヒューリスティクスを置き換えられ、開発の負荷が低下した。
• 第一級のAPIを備えたDSL設計により、従来のPBE DSLと比較して、より簡潔で表現力に富んだプログラムが可能となり、モデルの汎化性が向上した。