[論文レビュー] Learning Algorithms via Neural Logic Networks

Ali Payani, Faramarz Fekri|arXiv (Cornell University)|Apr 2, 2019

Bayesian Modeling and Causal Inference参考文献 18被引用数 13

ひとこと要約

この論文は、論理積（AND）、論理和（OR）、XORの微分可能演算子を用いてブール論理関数を明示的に学習する微分可能ニューラルネットワークフレームワーク、Neural Logic Networks (NLNs) を導入する。従来のMLPとは異なり、NLNsは解釈可能で記号的表現を提供し、最小限の訓練データで十進乗算、ソート、再帰的述語といった複雑なアルゴリズム的タスクを、既存のニューラルILPソルバーを上回って学習する。

ABSTRACT

We propose a novel learning paradigm for Deep Neural Networks (DNN) by using Boolean logic algebra. We first present the basic differentiable operators of a Boolean system such as conjunction, disjunction and exclusive-OR and show how these elementary operators can be combined in a simple and meaningful way to form Neural Logic Networks (NLNs). We examine the effectiveness of the proposed NLN framework in learning Boolean functions and discrete-algorithmic tasks. We demonstrate that, in contrast to the implicit learning in MLP approach, the proposed neural logic networks can learn the logical functions explicitly that can be verified and interpreted by human. In particular, we propose a new framework for learning the inductive logic programming (ILP) problems by exploiting the explicit representational power of NLN. We show the proposed neural ILP solver is capable of feats such as predicate invention and recursion and can outperform the current state of the art neural ILP solvers using a variety of benchmark tasks such as decimal addition and multiplication, and sorting on ordered list.

研究の動機と目的

• 離散的・アルゴリズム的タスクを学習する際、従来のMLPが暗黙的で解釈不能な重み表現に依存するという限界を克服すること。
• 論理関数を明示的に表現できる微分可能ニューラルネットワークフレームワークを構築し、人間による検証と解釈を可能にすること。
• 勾配ベース最適化を用いて、述語発見や再帰を含む帰納的論理プログラミング（ILP）問題の有効な学習を可能にすること。
• 特にLDPCデコードや算術演算などのアルゴリズム的タスクにおいて、少データ学習のシナリオでの一般化性能を向上させること。

提案手法

• 実数値入力 [0,1] を用い、論理積（乗算）、論理和（1 - (1-x)(1-y)）、XOR を微分可能演算子として提案することで、勾配ベース学習を可能にする。
• これらの演算子を段階的に接続することで、標準的なMLPとは異なり、記号的かつ解釈可能な構造を持つ多層ニューラル論理ネットワーク（NLNs）を設計する。
• 係数の符号を交互に変える一連の線形関数を用いた、XORの新しい微分可能定式化を提案し、ゼロ交差検出によって正確なXOR関数の計算を保証する。
• NLNフレームワークを用いてILP問題を微分可能最適化タスクに変換し、勾配降下によるエンドツーエンド学習を可能にする。
• 関数ベースのリスト意味論（例：先頭要素と残りのリストを扱う操作）を用いて順序付きデータ構造を表現し、ソートなどのリストベースのタスクにおける再帰的論理学習を可能にする。
• 事前定義されたテンプレートなしに、変数、関数、再帰を含む複雑な複数原子節を学習できる再帰的ILPソルバーを実装する。

実験結果

リサーチクエスチョン

• RQ1 微分可能ニューラルネットワークアーキテクチャは、暗黙の重みパターンではなく、明示的かつ解釈可能な記号的表現を用いてブール関数を学習できるか？
• RQ2 LDPCデコードのような少データ学習のアルゴリズム的タスクにおいて、NLNsの一般化性能はMLPに比べてどの程度優れているか？
• RQ3 NLNsは、事前構造的テンプレートがなく、正例と負例のみを用いて、述語発見や再帰といった複雑なILPタスクを学習できるか？
• RQ4 NLNsは、十進乗算や順序付きリストのソートといったタスクにおいて、既存のニューラルILPソルバーをどの程度上回るか？

主な発見

• 提案されたNLNフレームワークは、ゼロ交差検出を保証する微分可能定式化により、XORを含むブール関数の正確な計算を達成する。
• 限られた訓練例でのLDPC符号のエラー消去チャネルにおけるメッセージパassingデコードアルゴリズムの学習において、NLNsはMLPよりも顕著に優れた一般化性能を示す。
• NLNsは、4つの変数を用いた6原子節で構成される順序付きリストのソートを再帰的ILPソリューションとして学習でき、これは現在のニューラルILPソルバーでは達成できない能力である。
• 十進乗算や加算といった複雑なタスクで、大きな入力サイズへの一般化を伴っても高い正確性で学習が可能であり、先行するニューラルILPアプローチを上回る。
• NLNsが学習する記号的表現は人間が検証可能であり、標準的なDNNとは異なり、直接実行可能な論理プログラムに変換可能である。