[論文レビュー] Neural Logic Rule Layers

Jan Reimann, Andreas Schwung|arXiv (Cornell University)|Jan 1, 2019

Bayesian Modeling and Causal Inference参考文献 14被引用数 5

ひとこと要約

この論文では、論理的規則——特に結合的正規形および選言的正規形——を深層学習アーキテクチャに埋め込むことができる微分可能ニューラルネットワークモジュール、Neural Logic Rule Layers (NLRL) を導入する。学習可能な否定ゲート、共有重みのAND/OR接続子、および規則選択用のゲーティング機構を組み合わせることで、解釈可能な論理規則のエンドツーエンド学習を可能にし、合成論理および算術タスクで高い精度を達成するとともに、人間が理解可能な構造を維持し、知識のインジェクションをサポートする。

ABSTRACT

Despite their great success in recent years, deep neural networks (DNN) are mainly black boxes where the results obtained by running through the network are difficult to understand and interpret. Compared to e.g. decision trees or bayesian classifiers, DNN suffer from bad interpretability where we understand by interpretability, that a human can easily derive the relations modeled by the network. A reasonable way to provide interpretability for humans are logical rules. In this paper we propose neural logic rule layers (NLRL) which are able to represent arbitrary logic rules in terms of their conjunctive and disjunctive normal forms. Using various NLRL within one layer and correspondingly stacking various layers, we are able to represent arbitrary complex rules by the resulting neural network architecture. The NLRL are end-to-end trainable allowing to learn logic rules directly from available data sets. Experiments show that NLRL-enhanced neural networks can learn to model arbitrary complex logic and perform arithmetic operation over the input values.

研究の動機と目的

• 深層ニューラルネットワーク（DNN）の解釈性の低さを改善するために、論理的規則をネットワークアーキテクチャに直接埋め込むこと。
• バックプロパゲーションを用いたエンドツーエンド学習を可能にしつつ、人間が理解可能な推論構造を維持する論理的規則の学習を可能にすること。
• 専門家知識を事前に定義された論理的規則の形でニューラルネットワークに直接組み込むこと。
• 規則ベースの意思決定により、未知の入力に対する誤検出（偽陽性）を低減することで、モデルのロバストネスを向上させること。
• ニューラル層の表現能力が論理的関数および非線形関数の両方に対してどの程度達成可能かを調査すること。

提案手法

• NLRLアーキテクチャは3つのブロックから構成される：シグモイドゲーティング機構を用いた学習可能な否定ゲートで、¬x = (1−σ(gu))◦x + σ(gu)◦(1−x) を計算する。
• ANDおよびORの接続子は重みを共有しており、代数的表現で定義される：AND = exp(A(log(|ˆx|+ϵ)))、OR = ((1−anˆxn)⊙…⊙(1−a2ˆx2)⊙(−1a1ˆx1))1+1。
• 出力ゲーティングユニット σ(gr) が、y = (1−σ(gr))◦AND + σ(gr)◦OR によってAND出力とOR出力の間で選択を行う。
• 全構造はバックプロパゲーションを用いてエンドツーエンドで学習可能であり、規則パラメータとネットワーク重みの共同最適化が可能である。
• この手法は、結合的正規形および選言的正規形を用いて任意の論理関数を表現可能であり、適切な活性化関数と組み合わせることで非線形関数もモデル化可能である。
• 専門家が定義した論理的表現に基づいて規則パラメータを初期化することで、知識のインジェクションが可能であり、その後バックプロパゲーションによるファインチューニングが可能である。

実験結果

リサーチクエスチョン

• RQ1 ニューラルネットワークを、結合的正規形および選言的正規形としての任意の論理的規則を表現可能にしつつ、微分可能かつ学習可能であるように構築することは可能か？
• RQ2 学習可能な論理レイヤーを含めることで、合成論理および算術タスクにおける学習収束性と性能にどのような影響が生じるか？
• RQ3 NLRLは、事前に定義された論理的規則としての専門家知識をどの程度直接組み込み、データを用いてファインチューニング可能か？
• RQ4 標準的なソフトマックス出力レイヤーと比較して、NLRLアーキテクチャは未知の入力に対するロバストネスを向上させるか？
• RQ5 NLRLは、純粋な論理関数を超えて、算術演算のような非線形関数を効果的にモデル化できるか？

主な発見

• ANDとORの両方の能力を持つネットワーク（AND-OR）は、計算コストが高かっただけでなく、ANDのみに制限されたネットワークよりも高速に収束し、より高い性能を達成した。
• 冗長な否定ゲートを含むAND-NEGネットワークは、特に深層構造において、AND-NONEGネットワークと比較して著しく収束が遅く、循環的学習行動とパラメータの重複が原因である。
• 性能は接続サイズ（CS）が8に達した時点で飽和し、ネットワーク幅のさらなる増加が結果を向上させないことを示しており、テストされたタスクに対して最適な容量であると示唆している。
• 損失関数は段階的な低下パターンを示しており、最適化の組み合わせ的性質とシグモイド微分の挙動により、個々の論理的規則が離散的な段階で収束している可能性がある。
• 学習された表面の定性的な可視化により、高性能なネットワークが訓練データの背後にある論理的および算術的多様体を正確に捉えていることが確認された。
• AND-ORネットワークでは、ANDルートとORルートを並列で評価する複雑さの増加により、計算時間が著しく長くなった。