[論文レビュー] Neural Logic Reasoning

Shaoyun Shi, Hanxiong Chen+4 more|arXiv (Cornell University)|Aug 20, 2020

Advanced Graph Neural Networks参考文献 32被引用数 4

ひとこと要約

本稿では、論理演算（AND、OR、NOT）を微分可能モジュールとして学習する動的ニューラルアーキテクチャである論理統合ニューラルネットワーク（LINN）を提案する。入力論理式に基づく計算グラフの構築と論理変数のベクトル表現を用いることで、命題論理推論を実現し、論理方程式の解法およびTop-K推薦タスクの両方で最先端の性能を達成した。これは、ニューラル一般化と記号的推論の強力な統合を示している。

ABSTRACT

Recent years have witnessed the success of deep neural networks in many research areas. The fundamental idea behind the design of most neural networks is to learn similarity patterns from data for prediction and inference, which lacks the ability of cognitive reasoning. However, the concrete ability of reasoning is critical to many theoretical and practical problems. On the other hand, traditional symbolic reasoning methods do well in making logical inference, but they are mostly hard rule-based reasoning, which limits their generalization ability to different tasks since difference tasks may require different rules. Both reasoning and generalization ability are important for prediction tasks such as recommender systems, where reasoning provides strong connection between user history and target items for accurate prediction, and generalization helps the model to draw a robust user portrait over noisy inputs. In this paper, we propose Logic-Integrated Neural Network (LINN) to integrate the power of deep learning and logic reasoning. LINN is a dynamic neural architecture that builds the computational graph according to input logical expressions. It learns basic logical operations such as AND, OR, NOT as neural modules, and conducts propositional logical reasoning through the network for inference. Experiments on theoretical task show that LINN achieves significant performance on solving logical equations and variables. Furthermore, we test our approach on the practical task of recommendation by formulating the task into a logical inference problem. Experiments show that LINN significantly outperforms state-of-the-art recommendation models in Top-K recommendation, which verifies the potential of LINN in practice.

研究の動機と目的

• 深層ニューラルネットワークが強力な一般化能力を備えながらも論理的推論に限界を示す問題に対処すること。
• 従来の記号的推論の硬直性（ハードコーディングされたルール依存性）を克服し、多様なタスクに一般化できるようにすること。
• ディープラーニングの表現力と記号的システムの論理的推論能力を統合し、実用的応用における推論性能を向上させること。
• 論理制約を用いてユーザ-アイテム相互作用を推論可能なニューラルネットワークを実現すること。
• 論理統合ニューラルネットワークが理論的論理問題と実世界の推薦タスクの両方で優れた性能を達成できることを示すこと。

提案手法

• LINNは論理変数を密度ベクトルとして表現し、基本的な論理演算（AND、OR、NOT）を学習可能なニューラルモジュールとしてモデル化する。
• ネットワークは入力論理式に基づいて動的に計算グラフを構築し、論理式の構造的情報を保持する。
• 論理正則化を適用して、学習されたニューラルモジュールが結合則や冪等性などの論理演算の意味的性質を尊重することを保証する。
• 微分可能推論機構を用いて論理式の真偽値を確率として計算し、エンドツーエンドの学習を可能にする。
• 推薦タスクでは、ユーザの好みを論理式（例：「Aが好きだがBが嫌い → Cが好き」）として定式化し、論理に配慮した損失関数を用いて相互作用シーケンスから学習する。
• 負の相互作用は単なる埋め込みの否定ではなく論理式でモデル化することで、ベクトルの対称性に関する強い仮定を回避する。

実験結果

リサーチクエスチョン

• RQ1 一般化能力を維持しながら、構造に配慮した動的論理的推論が可能なニューラルネットワークアーキテクチャを設計できるか？
• RQ2 標準的なディープラーニングモデルと比較して、ニューラルモデルは命題論理方程式をどの程度効果的に解けるか？
• RQ3 疎でノイズの多いユーザ相互作用を持つ実世界の推薦タスクにおいて、論理統合推論は性能向上に寄与するか？
• RQ4 負の相互作用を論理式でモデル化することで、従来の埋め込みベースの負の表現方法を上回る性能が得られるか？
• RQ5 カテゴリーやコンテンツなどの補助情報を使わずに、LINNは意味のあるアイテム同時出現パターンを発見できるか？

主な発見

• LINNは、論理方程式の解法や変数推論といった理論的論理推論タスクにおいて、標準的なニューラルネットワークを顕著に上回り、強力な論理的推論能力を示している。
• ML-100kおよびElectronics推薦データセットにおいて、GRU4Rec や NARM といったSOTAモデルを上回るHit@1およびTop-K性能を達成した。
• ML-100kではHit@1スコアが0.58を記録し、明示的な負の相互作用モデリングを行わなくてもGRU4Rec や NARM を上回った。
• アイテム同時出現確率のヒートマップから、アーキテクチャに対称性を強制せずとも、LINNは対称的な論理的関係（例：v_i ∧ v_j ≈ v_j ∧ v_i）を学習していることがわかった。
• LINNは、人気のないドラマ（No.1144）と人気の高い音楽（No.602）のように、低人気であるにもかかわらず同じユーザーに好まれる非自明な同時出現パターンを特定した。
• 負の相互作用を論理式でモデル化することで、負の埋め込みや制約のないネットワークと比較して、より優れた性能が得られ、後者ではポジティブとネガティブ表現間の意味的関係が弱体化する傾向がある。