[論文レビュー] Relational Neural Machines

Giuseppe Marra, Michelangelo Diligenti+3 more|arXiv (Cornell University)|Feb 6, 2020

Bayesian Modeling and Causal Inference参考文献 31被引用数 12

ひとこと要約

この論文は、不確実性下での推論を向上させるために、深層ニューラルネットワークと一階論理推論エンジンを同時に学習する神経記号的フレームワーク、関係的ニューラルマシン（RNM）を導入する。教師あり学習と微分可能な論理的推論を統合することで、RNMは、Citeseer引用ネットワークデータセットにおいて、標準的なニューラルネットワークと記号的ベースラインを上回る最先端の性能を達成する。

ABSTRACT

Deep learning has been shown to achieve impressive results in several tasks where a large amount of training data is available. However, deep learning solely focuses on the accuracy of the predictions, neglecting the reasoning process leading to a decision, which is a major issue in life-critical applications. Probabilistic logic reasoning allows to exploit both statistical regularities and specific domain expertise to perform reasoning under uncertainty, but its scalability and brittle integration with the layers processing the sensory data have greatly limited its applications. For these reasons, combining deep architectures and probabilistic logic reasoning is a fundamental goal towards the development of intelligent agents operating in complex environments. This paper presents Relational Neural Machines, a novel framework allowing to jointly train the parameters of the learners and of a First--Order Logic based reasoner. A Relational Neural Machine is able to recover both classical learning from supervised data in case of pure sub-symbolic learning, and Markov Logic Networks in case of pure symbolic reasoning, while allowing to jointly train and perform inference in hybrid learning tasks. Proper algorithmic solutions are devised to make learning and inference tractable in large-scale problems. The experiments show promising results in different relational tasks.

研究の動機と目的

• 純粋にサブ記号的な深層学習が関係的知識を捉えられず、不確実性下での推論に限界を示す問題に対処すること。
• 既存の神経記号的フレームワークにおける脆い統合とスケーラビリティの問題を克服すること。
• 一般化性能と解釈可能性を向上させるために、ニューラルネットワークのパラメータと論理的ルールの重みを共同最適化可能にすること。
• 統一されたアーキテクチャ内で教師あり学習と記号的推論を両立できるスケーラブルで微分可能なフレームワークを提供すること。

提案手法

• RNMは、特徴抽出のための深層ニューラルネットワークと、関係的推論のための第一階論理推論エンジンを統合する。
• フレームワークは、論理的ルールを介して勾配を逆伝播可能にする微分可能な推論を使用し、エンドツーエンドの学習を可能にする。
• 部分的に観測されたデータを処理するためにEMに類似したアルゴリズムを採用し、ラベルの一部しか利用できない状況での学習を可能にする。
• ルールは重み付けされ、ニューラルパラメータと同時に学習されるため、データに応じてルールの重要度をモデルが適応可能になる。
• 出力層は論理的推論エンジンに置き換えられ、予測とネットワークの最終層との分離が実現される。
• 推論設定として推論的（transductive）および誘導的（inductive）の両方をサポートし、現実世界のシナリオにおける耐障害性を高める。

実験結果

リサーチクエスチョン

• RQ1 神経記号的フレームワークは、ニューラルネットワークの重みと論理的ルールのパラメータを同時に最適化することで、関係的推論を向上させることができるか？
• RQ2 ラベル付きデータが限られた状況下で、ニューラルおよび記号的コンponentsの共同学習が、関係的分類タスクの性能にどのように影響を与えるか？
• RQ3 RNMは、標準的なニューラルネットワークやMarkov Logic Networksのような記号的推論システムと比較して、正確性とスケーラビリティの面でどの程度優れているか？
• RQ4 部分的に観測されたデータ（学習中にラベルの一部しか入手できない状況）をどのように処理するか？
• RQ5 RNMにおける微分可能な論理的推論は、解釈可能性と一般化性能を維持したまま、ルールの重みの有効な学習を可能にするか？

主な発見

• Citeseerデータセットにおいて、RNMは90%の学習データを用いた部分観測状況で78.0%の正確度を達成し、ベースラインのニューラルネットワーク（72.6%）とSBR（78.0%）を上回った。
• 学習データを10%に制限した部分観測状況でも、RNMは70.8%の正確度を達成し、ベースライン（64.0%）とSBR（70.3%）を顕著に上回った。
• 完全観測状況では、90%の学習データを用いた場合にRNMは73.2%の正確度を達成し、ベースライン（72.3%）とSBR（72.6%）を上回った。
• すべてのデータ比において一貫した改善が確認され、データ不足に対しても頑健であることが示された。
• 最適なルール重みの学習が可能になったことで、分野固有の引用パターン（例えば、コミュニティ内での引用頻度のばらつき）への適応性が向上した。
• RNMは深層学習と記号的推論の長所を効果的に統合し、純粋なサブ記号的および純粋な記号的ベースラインを上回る高い正確度を達成した。