[論文レビュー] A Semantic Loss Function for Deep Learning with Symbolic Knowledge

Jingyi Xu, Zilu Zhang+3 more|arXiv (Cornell University)|Nov 29, 2017

Topic Modeling参考文献 48被引用数 70

ひとこと要約

論文はニューラル出力をBoolean constraintsに結びつける意味論的損失を導出し、微分可能で、シンボリック知識を用いた正当な推論を可能にし、半教師あり学習および構造化出力学習を改善します。

ABSTRACT

This paper develops a novel methodology for using symbolic knowledge in deep learning. From first principles, we derive a semantic loss function that bridges between neural output vectors and logical constraints. This loss function captures how close the neural network is to satisfying the constraints on its output. An experimental evaluation shows that it effectively guides the learner to achieve (near-)state-of-the-art results on semi-supervised multi-class classification. Moreover, it significantly increases the ability of the neural network to predict structured objects, such as rankings and paths. These discrete concepts are tremendously difficult to learn, and benefit from a tight integration of deep learning and symbolic reasoning methods.

研究の動機と目的

• ニューラル出力が論理制約をどれだけ満たすかを測る原理的な意味論的損失を導入する。
• 第一原理から導出された微分可能な損失を用いてニューラル予測とシンボリック知識を橋渡しする。
• MNIST、FASHION、CIFAR-10での半教師あり多クラス分類の改善を示す。
• ランキングや経路といった構造化オブジェクトの学習における利点を示す。
• 複雑な制約に対する意味論的損失の計算可能な計算戦略を提供する。

提案手法

• 命題論理制約α（変数X上）と予測確率pから意味論的損失Ls(α, p)を定義する。
• 公理集合（単調性、同一性、満足度、ラベル–リテラル対応、微分可能性）の下でLsの一意性を証明する。
• 単純な制約（例：ちょうど1つ）に対してLsが閉形式に還元されることを示し、複雑な制約には回路ベースの加重モデルカウティングを用いる。
• セマンティック損失を既存のlossに加えた形で、semi-supervised learningを可能にするために existing_loss + w * Ls として統合する。
• Boolean回路のコンパイルと算術回路を用いた tractableな勾配評価を実証する。
• 複雑な出力空間（経路、ランキング）に適用して、有効な構造をエンコードし学習成果を改善する。

実験結果

リサーチクエスチョン

• RQ1 神経出力の意味論的な意味を保つ微分可能な損失をどのように定義できるか。
• RQ2 意味論的損失を組み込むことでMNIST、FASHION、CIFAR-10のような標準ベンチマークで半教師あり学習は改善されるか。
• RQ3 意味論的損失はネットワークが構造化出力（ランキング、経路）をより正確に学習・予測するのに役立つか。
• RQ4 複雑な制約に対して意味論的損失を効率的に計算する方法は。

主な発見

• 意味論的損失はMNIST、FASHION、CIFAR-10でほぼ最先端の半教師あり性能を達成。
• ラベルが限られた場合（例：100）には、意味論的損失は純粋な教師ありベースラインおよびエントロピーベース正則化よりも有意な改善を提供。
• MNISTでは意味論的損失を組み込んだモデルは ladder nets に近づき、アーキテクチャ/ハイパーパラメータ差分が小さなギリギリの差。
• FASHIONおよび CIFAR-10 では、意味論的損失は強力なベースラインを上回り、いくつかの設定で ladder nets に対して競争力があり、優れている。
• 複雑な構造化制約（経路、ランキング）に対して、意味論的損失はラベルごとの精度を向上させるだけでなく、制約を満たす一貧な整合性（有効性）を大幅に改善。
• 単純な制約には計算コストが効率的であり、複雑な制約では回路ベースの手法を用いて推論と勾配計算を実現できる。