[論文レビュー] Differentiable Functional Program Interpreters

John Feser|arXiv (Cornell University)|Nov 7, 2016

Machine Learning and Algorithms参考文献 14被引用数 6

ひとこと要約

本論文は、入出力例からのプログラム合成を改善することを目的とした微分可能関数型プログラミング言語およびインタプリタを導入する。不変性、高階結合子、型システム、自動メモリ管理といった関数型プログラミングの原則を組み込むことで、従来の微分可能アプローチと比較して、複雑なリスト処理タスクにおける学習性能が著しく向上することを実証している。

ABSTRACT

Programming by Example (PBE) is the task of inducing computer programs from input-output examples. It can be seen as a type of machine learning where the hypothesis space is the set of legal programs in some programming language. Recent work on differentiable interpreters relaxes the discrete space of programs into a continuous space so that search over programs can be performed using gradient-based optimization. While conceptually powerful, so far differentiable interpreter-based program synthesis has only been capable of solving very simple problems. In this work, we study modeling choices that arise when constructing a differentiable programming language and their impact on the success of synthesis. The main motivation for the modeling choices comes from functional programming: we study the effect of memory allocation schemes, immutable data, type systems, and built-in control-flow structures. Empirically we show that incorporating functional programming ideas into differentiable programming languages allows us to learn much more complex programs than is possible with existing differentiable languages.

研究の動機と目的

• 単純なタスクを超えて、スケーラビリティと表現力の向上を図った微分可能インタプリタの開発。
• 不変性、結合子、型システムといった関数型プログラミングパラダイムが勾配ベースのプログラム学習に与える影響を調査すること。
• 少数の例からの一般化に限界を示す既存の微分可能言語の課題を解決し、より構造的で関数型のプログラミング基盤を設計すること。
• 関数型言語設計の選択が、プログラム誘導における成功確率に測定可能な向上をもたらすかどうかを実証的に検証すること。

提案手法

• 整数およびリストを扱う微分可能関数型プログラミング言語を設計し、再帰と制御構造を結合子およびif-then-else構文でネイティブにサポートする。
• 実行中にデータ構造の不変性を保証し、自動メモリ管理をサポートする微分可能インタプリタを実装する。
• 探索空間を制約し、学習中の一般化を向上させるために単純な型システムを統合する。
• 勾配ベース最適化を用いて入出力例に基づきインタプリタを訓練し、ハード注目またはサンプリングによる離散的プログラム出力を得る。
• 長さ計算やリスト検索といったリスト処理タスクにおいて、NRAM や離散探索手法といったベースラインと比較する。
• ハイパーパramータの広範なサーチとアブレーションスタディを実施し、各設計選択が学習パフォーマンスに与える影響を評価する。

実験結果

リサーチクエスチョン

• RQ1 不変性や高階結合子といった関数型プログラミング原則が、微分可能インタプリタの少数例からの一般化能力にどのように影響するか。
• RQ2 型システムおよび自動メモリ管理を組み込むことで、微分可能プログラム合成の成功確率はどの程度向上するか。
• RQ3 関数型言語に基づく微分可能インタプリタは、NRAM などの既存の微分可能モデルを上回り、複雑な実世界のプログラム誘導タスクで優れた性能を示せるか。
• RQ4 結合子やif-then-elseによる構造的な制御構造の使用は、勾配ベースの合成における最適化ダイナミクスと収束速度にどのように寄与するか。
• RQ5 微分可能インタプリタにおける異なるモデリング選択肢が、未観測の入出力ペアにおける一般化にどのような影響を及えるか。

主な発見

• 関数型言語設計の選択を反映した本稿で提案する微分可能インタプリタは、従来の微分可能モデルと比較して、複雑なリスト処理タスクで顕著に高い成功確率を達成した。
• 結合子およびif-then-else構文による制御構造の使用は、条件付き論理や再帰的挙動を要するタスクにおいて一般化性能を向上させた。
• 不変性と自動メモリ管理は、特に小さな学習データセットにおいて安定した訓練と一般化の向上に不可欠であった。
• 単純な型システムの導入により仮説空間が縮小され、プログラム誘導における収束速度の向上と成功確率の向上が達成された。
• NRAMベースラインは50例未満の学習例でlenタスクに一般化に失敗したため、非関数型の微分可能モデルが少サンプル学習に苦労することが確認された。
• 特にソフト制約や感覚的入力が関与するタスクでは、λ² などの離散探索手法よりも本モデルが優れた性能を示し、ハイブリッド学習システムにおける補完的役割を果たす可能性が示された。