[論文レビュー] Learning Compositional Rules via Neural Program Synthesis

Maxwell Nye, Armando Solar-Lezama+2 more|arXiv (Cornell University)|Mar 12, 2020

Topic Modeling参考文献 29被引用数 31

ひとこと要約

この論文は few examples から explicit rule systems を誘導する neuro-symbolic モデルを提示し、neural proposals と symbolic program checking を組み合わせることで、domain across の組成的 generalization を可能にする。

ABSTRACT

Many aspects of human reasoning, including language, require learning rules from very little data. Humans can do this, often learning systematic rules from very few examples, and combining these rules to form compositional rule-based systems. Current neural architectures, on the other hand, often fail to generalize in a compositional manner, especially when evaluated in ways that vary systematically from training. In this work, we present a neuro-symbolic model which learns entire rule systems from a small set of examples. Instead of directly predicting outputs from inputs, we train our model to induce the explicit system of rules governing a set of previously seen examples, drawing upon techniques from the neural program synthesis literature. Our rule-synthesis approach outperforms neural meta-learning techniques in three domains: an artificial instruction-learning domain used to evaluate human learning, the SCAN challenge datasets, and learning rule-based translations of number words into integers for a wide range of human languages.

研究の動機と目的

• 非常に小さなデータからの組成的ルールの学習を人間の一般化になぞらえて動機づける。
• support 例から explicit grammar-based rule systems を誘導する神経プログラム合成フレームワークを提案する。
• 複数ドメインにわたって neural meta-learning ベースラインより優れた一般化を実証する。
• explicit grammar search による解釈可能なルール発見と強い out-of-distribution generalization を示す。

提案手法

• BiLSTM ベースのエンコーダで support 入出力例をエンコードする。
• attention-enabled LSTM デコーダを用いて候補文法をデコードする。
• プログラムを LHS -> RHS の rewrite ルールの解釈文法として表現する。
• サンプルされた文法を記号的に query 入力へ適用し、support セットに対する整合性を検証する。
• ルール系のメタ文法を学習して近似ベイズ文法誘導を行う。
• テスト時には候補文法をサンプリングして support セットに対して検証し、整合的なものが見つかるまで探索を行う。

実験結果

リサーチクエスチョン

• RQ1 神経-記号モデルは few examples から explicit rule systems を誘導し novel inputs へ組成的に一般化できるか？
• RQ2 explicit grammar search は組成的タスクにおける pure neural meta-learning とどう比較されるか？
• RQ3 人間言語風の指示学習、scan データセット、および跨言語の number-word interpretation へ this approach を転移できるか？
• RQ4 多数の support 例を参照する attentional 機構は rule discovery と多ドメイン generalization を改善するか？

主な発見

• 提案された rule-synthesis モデルは、人工的な指示学習、Scan チャレンジ、跨言語の number-word interpretation において neural meta-learning ベースラインより優れている。
• 探索ベースの合成は Mini Scan でほぼ完璧な性能を達成し、ルールの複雑さが増大しても精度を維持する。これはベースラインと異なる。
• 純粋な neural I/O マッピングは長いクエリや out-of-distribution に弱い一方、explicit rule learning は learned grammar を任意の query 入力へ適用することで一般化する。
• このモデルは複数言語にわたる number-word interpretation で高い性能を達成し、跨言語の組成的一般化を示している。