[論文レビュー] Embedding Symbolic Knowledge into Deep Networks

Yaqi Xie, Ziwei Xu+3 more|arXiv (Cornell University)|Sep 3, 2019

Advanced Graph Neural Networks参考文献 34被引用数 4

ひとこと要約

本稿では、意味的正則化とノードの多様性への配慮を用いて、d-DNNFおよびCNF形式の記号論理的知識を深層ニューラルネットワークに埋め込むグラフニューラルネットワークフレームワーク、LENSRを提案する。拡張されたGCNを介して論理式と割り当てを多様体上に投影することで、効率的な含意チェックが可能となり、モデル性能が向上し、視覚的関係予測およびモデルチェックタスクで最先端の結果を達成する。

ABSTRACT

In this work, we aim to leverage prior symbolic knowledge to improve the performance of deep models. We propose a graph embedding network that projects propositional formulae (and assignments) onto a manifold via an augmented Graph Convolutional Network (GCN). To generate semantically-faithful embeddings, we develop techniques to recognize node heterogeneity, and semantic regularization that incorporate structural constraints into the embedding. Experiments show that our approach improves the performance of models trained to perform entailment checking and visual relation prediction. Interestingly, we observe a connection between the tractability of the propositional theory representation and the ease of embedding. Future exploration of this connection may elucidate the relationship between knowledge compilation and vector representation learning.

研究の動機と目的

• 記号論理的知識（論理式の形で）を統合することで、深層ニューラルネットワークの性能を向上させること。
• ラベル付きデータが限られる状況においても、スケーラブルかつ効果的に記号的知識をニューラルネットワークに統合する課題に対処すること。
• 論理的表現の扱いやすさ（例：d-DNNF対CNF）が、ベクトル埋め込みの学習可能性に与える影響を調査すること。
• 埋め込みが論理的含意および充足可能性を反映するように、意味的構造を保持する方法を開発すること。
• 実用的で学習可能なフレームワークを提供し、深層学習モデルに記号的制約を正則化として適用できること。

提案手法

• 命題論理式と割り当てを多様体上にベクトルとして表現するための、グラフ畳み込みネットワーク（GCN）に基づくグラフ埋め込みネットワークを提案する。
• 論理グラフ内のANDノードとORノードを区別するノードの多様性への配慮をGCNに導入し、構造的忠実性を向上させる。
• ANDノードおよびORノードの子ノードの埋め込みに対して、論理的意味を保持するためのソフト制約を課す意味的正則化を適用する。
• 得られた埋め込みを用いて、トレーニング中に深層ニューラルネットワークを正則化する論理的意識のある損失関数を構築する。
• d-DNNFとCNFを、その扱いやすさとサイズの特性の対比から、ターゲット知識表現として採用する。
• 異なる論理的正規形の学習可能性を形式的に比較するための「埋め込み要求性」の概念を導入する。

実験結果

リサーチクエスチョン

• RQ1 命題論理で表現された記号的論理的知識を、グラフベースの手法を用いて深層ニューラルネットワークに効果的に埋め込むことは可能か？
• RQ2 GCNベースの埋め込みに意味的正則化とノードの多様性を組み込むことで、ベクトル表現と論理的意味の整合性が向上するか？
• RQ3 論理的正規形の選択（d-DNNF 対 CNF）が、埋め込み表現の性能と学習可能性に与える影響は何か？
• RQ4 論理的表現の扱いやすさと、そのベクトル埋め込み学習への適合性との間に測定可能な関係があるか？
• RQ5 論理を埋め込んだ表現は、視覚的関係予測や含意チェックといった下流の深層学習タスクを改善できるか？

主な発見

• LENSRはd-DNNFと意味的正則化を併用し、視覚的関係予測タスクでトップ5正解率92.77%を達成し、ベースライン（84.30%）およびtreeLSTM（85.76%）を大きく上回った。
• ノードの多様性埋め込みと意味的正則化の両方を備えたd-DNNFを用いたモデルは92.77%のトップ5正解率を達成し、構造的および意味的制約の有効性を示した。
• CNFと意味的正則化を併用したLENSRは85.70%のトップ5正解率を達成し、ベースラインより向上したが、d-DNNFを用いた場合よりは劣った。
• 意味的損失によるd-DNNFの直接適用は、性能向上が僅かににとどまり（84.76%）、埋め込みベースの正則化が生の論理損失よりも効果的であることが示された。
• 最先端のTreeLSTMベースの埋め込み手法を上回ったことから、RNNベースのアプローチに比べ、GCNベースで構造に配慮した埋め込みの優位性が裏付けられた。
• 実験的結果から、論理的表現の扱いやすさとその埋め込み可能性との強い関連性が示され、d-DNNFはCNFよりも効果的なベクトル表現学習に適していることが明らかになった。