[論文レビュー] Deep Adaptive Semantic Logic (DASL): Compiling Declarative Knowledge into Deep Neural Networks

Karan Sikka, Andrew Silberfarb+5 more|arXiv (Cornell University)|Mar 16, 2020

Topic Modeling参考文献 45被引用数 6

ひとこと要約

本稿では、勾配消失を回避するためのロジットベースの真偽表現を用いて、一階論理の知識を微分可能な深層ニューラルネットワークにコンパイルするフレームワークであるDeep Adaptive Semantic Logic (DASL)を紹介する。データと記述的知識を統合したエンドツーエンドで学習可能なモデルにより、おもちゃ的なMNISTタスクではデータ要件を最大1,000倍まで削減し、低データ環境下での視覚的関係検出性能を10.7%向上させた。

ABSTRACT

We introduce Deep Adaptive Semantic Logic (DASL), a novel framework for automating the generation of deep neural networks that incorporates user-provided formal knowledge to improve learning from data. We provide formal semantics that demonstrate that our knowledge representation captures all of first order logic and that finite sampling from infinite domains converges to correct truth values. DASL's representation improves on prior neural-symbolic work by avoiding vanishing gradients, allowing deeper logical structure, and enabling richer interactions between the knowledge and learning components. We illustrate DASL through a toy problem in which we add structure to an image classification problem and demonstrate that knowledge of that structure reduces data requirements by a factor of $1000$. We then evaluate DASL on a visual relationship detection task and demonstrate that the addition of commonsense knowledge improves performance by $10.7\%$ in a data scarce setting.

研究の動機と目的

• 記号的知識表現の脆さと深層学習のデータ依存性を、1つのフレームワークで統合することで解決すること。
• 深層ニューラルネットワークが、一階論理で表現された形式的でユーザー提供の記述的知識を統合できるようにすること。
• ファジィ論理の代わりにロジットベースの真偽表現を用いることで、ニューズィカル・シンボリックシステムにおける勾配消失問題を克服すること。
• DASLが、ネストされた量化子、関数、等価性を含む完全な一階論理を形式的に整合的かつ完全に扱えることを示すこと。
• 視覚タスクにおける構造的知識統合を通じて、低データ環境下でのデータ要件の削減と一般化性能の向上を実現すること。

提案手法

• 任意のアーキテクチャを備えた再利用可能で学習可能なニューラルネットワークとして、ドメインの関係および関数を表現すること。
• 論理結合子を用いてニューラルコンポonentを合成することで、一階論理の帰納を1つの深層ニューラルネットワークにコンパイルすること。
• バックプロパゲーション中に勾配の流れを保持するため、実数値で有界でないロジットベースの真偽表現を用いることで、勾配消失を回避すること。
• ラベルを論理的帰納として扱い、教師あり、半教師あり、教師なし、および間接的教師あり学習を1つの学習体制に統合すること。
• 無限のドメインに対してミニバッチサンプリングを適用し、有限サンプリング下での収束を証明すること。
• 句法的拡張により制限付き量化子とハイブリッドネットワークアーキテクチャをサポートしながら、一階論理の制約に違反しないこと。

実験結果

リサーチクエスチョン

• RQ1 微分可能であることを保ちつつ、記述的知識が一階論理で表現されたものから自動的に深層ニューラルネットワークにコンパイル可能か。
• RQ2 ニューズィカル・シンボリックシステムにおけるロジットベースの真偽表現が、勾配消失を防ぎ、より深い論理構造の構築を可能にするか。
• RQ3 DASLが、量化子と等価性を含む完全な一階論理について、整合的かつ完全に扱えるか。
• RQ4 共通の知識統合が、限られたラベル付きデータを有する視覚タスクにおけるデータ要件をどの程度削減できるか。
• RQ5 標準的な深層学習ベースラインと比較して、DASLがゼロショットおよび低データ環境下でのモデル一般化性能と性能をどの程度向上させるか。

主な発見

• DASLは、算術制約を記述的知識として統合することで、変更されたMNIST数字分類タスクでデータ要件を1,000倍まで削減した。
• Visual Relationship Detection (VRD)データセットにおいて、訓練データの1%しか使用しなかった場合、DASLは再現率を10.7%（59.4%から70.1%）向上させ、データが乏しい環境下での顕著な性能向上を示した。
• 性能向上は、特に低データ環境（例：1%データ）およびゼロショット設定で顕著であり、知識が強力な正則化要因として機能している。
• 知識を統合したVGG-SSモデルは、R@100で78.5%の再現率を達成し、ベースラインより1.4%の絶対的向上を示した（p < 0.01で統計的有意）。
• DASLの形式的意味論は、ネストされた量化子と等価性を含む完全な一階論理について、有限サンプリング下での収束保証とともに整合的かつ完全であることを証明した。
• ロジットベースの真偽表現により、複雑な論理構造を介した安定なバックプロパゲーションが可能となり、従来のファジィ論理ベースのアプローチの制限を克服した。