[論文レビュー] Knowledge Enhanced Neural Networks for relational domains

Alessandro Daniele, Luciano Serafini|arXiv (Cornell University)|May 31, 2022

Natural Language Processing Techniques被引用数 5

ひとこと要約

この論文は、知識拡張ニューラルネットワーク（KENN）を、複数の残差論理層を導入することで関係データを処理できるように拡張し、論理的知識をニューラルネットワークに組み込むことで、一元的および二元的述語におけるスケーラブルな推論を可能にした。この手法は、特に低データ環境下でもモデルの精度を向上させつつ、高い効率性を維持し、CiteseerデータセットにおいてSBRおよびRNMを性能と学習速度の両面で上回った。

ABSTRACT

In the recent past, there has been a growing interest in Neural-Symbolic Integration frameworks, i.e., hybrid systems that integrate connectionist and symbolic approaches to obtain the best of both worlds. In this work we focus on a specific method, KENN (Knowledge Enhanced Neural Networks), a Neural-Symbolic architecture that injects prior logical knowledge into a neural network by adding on its top a residual layer that modifies the initial predictions accordingly to the knowledge. Among the advantages of this strategy, there is the inclusion of clause weights, learnable parameters that represent the strength of the clauses, meaning that the model can learn the impact of each rule on the final predictions. As a special case, if the training data contradicts a constraint, KENN learns to ignore it, making the system robust to the presence of wrong knowledge. In this paper, we propose an extension of KENN for relational data. One of the main advantages of KENN resides in its scalability, thanks to a flexible treatment of dependencies between the rules obtained by stacking multiple logical layers. We show experimentally the efficacy of this strategy. The results show that KENN is capable of increasing the performances of the underlying neural network, obtaining better or comparable accuracies in respect to other two related methods that combine learning with logic, requiring significantly less time for learning.

研究の動機と目的

• 元のバージョンが行列ベースの表現に依存していたため、元のバージョンが処理できなかった、一元的および二元的述語を含む関係データをサポートするKENNフレームワークの拡張。
• 現実の関係的ドメインにおける論理的規則間の独立性仮定の違反に対処するため、複数のスタックされた論理層を導入すること。
• 特に低データおよび複雑な関係的設定下での、知識インジェクションのスケーラビリティとロバスト性の向上。
• 集団分類タスクにおいて、SBRおよびRNMなどの既存のニューラル・シンボリック手法と比較して、拡張されたKENNフレームワークの有効性を実証的に検証すること。

提案手法

• 事前学習済みニューラルネットワークに、事前知識としての論理的規則に基づいて予測を修正する複数の残差論理層を追加する。
• 論理的知識を微分可能制約として、残差接続を介して適用することで、エンド・ツー・エンドの学習を可能にする。
• 各規則ごとに学習可能なクラウーズ重みを導入し、モデルが各論理的制約の影響を動的に調整できるようにする。
• 一元的および二元的述語をサポートするため、入力表現を再定義し、表形式を超えた関係的構造を処理できるようにする。
• 規則間の依存関係をモデル化するため、複数の論理層をスタックする戦略を採用し、独立性仮定の制限を克服する。
• 複雑な規則集合に対しても高い学習効率を維持できる柔軟でスケーラブルなアーキテクチャを採用する。

実験結果

リサーチクエスチョン

• RQ1 KENNは、一元的および二元的述語を含む関係データを効果的に処理できるように拡張可能か？
• RQ2 規則間の独立性仮定が破られる状況において、複数の論理層をスタックすることで性能が向上するか？
• RQ3 関係的データセットにおいて、拡張されたKENNの性能はSBRおよびRNMと比較して、正確性および学習効率の面でどのように異なるか？
• RQ4 知識インジェクションは、ラベル付き学習データの必要量をどの程度削減できるか？

主な発見

• 3つのKE層を搭載したKENNは、10%の学習データでの推論的状況下でテスト精度0.110を達成し、50%のデータを使用した標準的なNNと同等の性能を示した。
• KE層による知識の追加により、低データ環境下での精度が向上し、データ効率が2倍に向上した（学習データ量を2倍にしたのと同等）。
• 推論的および推論的両設定において、KENNはSBRおよびRNMを上回ったが、特に低データ環境下で最大の性能差が観察された。
• KENNの平均学習時間は1回あたり7.96秒であり、SBR（87.36秒）およびRNM（215.69秒）を大きく上回り、優れたスケーラビリティを示した。
• KE層を増やすことで精度が向上するが、ある点を過ぎると性能が安定化し、最適な深さを超えても効果が薄くなることが確認され、本手法のロバスト性と限界利得の存在が裏付けられた。
• 推論的状況ではSBRはほとんど改善が見られなかったが、KENNおよびRNMは高い性能を維持しており、正則化ベースの手法よりもモデルベースの手法がより効果的であることが示された。