[論文レビュー] Neural Networks Enhancement through Prior Logical Knowledge.

Alessandro Daniele, Luciano Serafini|arXiv (Cornell University)|Sep 13, 2020

Natural Language Processing Techniques参考文献 22被引用数 7

ひとこと要約

KENNは、全称量化された一階述語論理（FOL）節としての事前論理的知識をニューラルネットワークに組み込むことで、予測を精緻化する知識に配慮した最終層を生成する。このアプローチにより、マルチラベル分類および関係学習タスクにおける性能が向上し、自動抽出および手動で整備された知識を用いたVRDおよびCiteseerデータセットでも効果が確認された。

ABSTRACT

In the recent past, there has been a growing interest in Neural-Symbolic Integration frameworks, i.e., hybrid systems that integrate connectionist and symbolic approaches: on the one hand, neural networks show remarkable abilities to learn from a large amount of data in presence of noise, on the other, pure symbolic methods can perform reasoning as well as learning from few samples. By combining the two paradigms, it should be possible to obtain a system that can both learn from data and apply inference over some background knowledge. Here we propose KENN (Knowledge Enhanced Neural Networks), a Neural-Symbolic architecture that injects prior knowledge, codified in a set of universally quantified FOL clauses, into a neural network model. In KENN, clauses are used to generate a new final layer of the neural network which modifies the initial predictions based on the knowledge. Among the advantages of this strategy, there is the possibility to include additional learnable parameters, the clause weights, each of which represents the strength of a specific clause. We evaluated KENN on two standard datasets for multi-label classification, showing that the injection of clauses, automatically extracted from the training data, sensibly improves the performances. In a further experiment with manually curated knowledge, KENN outperformed state-of-the-art methods on the VRD Dataset, where the task is to classify relationships between detected objects in images. Finally, to evaluate how KENN deals with relational data, we tested it with different learning configurations on Citeseer, a standard dataset for Collective Classification. The obtained results show that KENN is capable of increasing the performances of the underlying neural network even in the presence of relational data obtaining results in line with other methods that combine learning with logic.

研究の動機と目的

• 少数の例からの一般化に限界を示す純粋なニューラルネットワークの課題に対処すること。
• ノイズが多いまたはデータが乏しい環境における記号的システムの脆さを、ニューラル学習の能力と組み合わせることで克服すること。
• エンドツーエンドの学習が可能でありながら、論理的節によって解釈可能性を保つニューラル記号フレームワークを構築すること。
• 自動抽出および手動で整備された形での論理的知識の注入が、多様な学習タスクに与える有効性を評価すること。
• 知識強化型ニューラルネットワークが、関係学習およびマルチラベル分類において最先端または競争力のある結果を達成できることを示すこと。

提案手法

• KENNは、全称量化された一階述語論理（FOL）節として符号化された事前知識をニューラルネットワークの最終層に統合する。
• システムはFOL節に基づいて新たな層を構築し、論理的推論を用いて初期のニューラルネットワークの予測を修正する。
• 各FOL節には、その節の強さまたは予測精緻化プロセスにおける信頼度を表す学習可能な重みパラメータが関連付けられる。
• モデルはエンドツーエンドで訓練され、ニューラルネットワークおよび節の重みパラメータを通り抜ける勾配が流れる。
• 知識の注入は推論時に行われ、論理的制約がネットワークの初期出力確率を補正または精緻化するために使用される。
• フレームワークは、学習データから節を自動抽出するのと、特定のタスクに合わせて知識を手動で整備するのの両方をサポートする。

実験結果

リサーチクエスチョン

• RQ1 FOL節としての論理的知識の注入が、マルチラベル分類タスクにおけるニューラルネットワークの性能を向上させることができるか？
• RQ2 自動抽出された論理的節と手動で整備された知識の両方を用いた場合、KENNの有効性はどの程度か？
• RQ3 KENNは関係データを効果的に処理できるか、特に集合的分類の設定においてか？
• RQ4 学習可能な節の重みを導入することで、固定された論理的制約と比較してモデルの適応性と性能が向上するか？
• RQ5 VRDのような関係学習ベンチマークにおいて、KENNは最先端の手法と比較してどうか？

主な発見

• 自動抽出されたFOL節を用いる場合、KENNは訓練データから自動抽出されたFOL節を用いて、2つの標準的なマルチラベル分類データセットで顕著な性能向上を達成した。
• VRDデータセットでは、手動で整備された論理的知識を用いた場合、KENNは画像内のオブジェクト間の関係を分類する分野で最先端の手法を上回った。
• Citeseerデータセットでは、KENNは特殊な関係学習手法と同等の結果を達成し、集合的分類タスクにおける有効性を示した。
• 学習可能な節の重みの導入により、モデルは異なる論理的ルールの影響を適応的に重み付けでき、耐障害性と一般化性能が向上した。
• 論理的知識の統合により、データが乏しいまたはノイズが多い状況でも、より信頼性が高く解釈可能な予測が得られた。