[論文レビュー] Knowledge Infused Learning (K-IL): Towards Deep Incorporation of Knowledge in Deep Learning

Ugur Kursuncu, Manas Gaur+1 more|arXiv (Cornell University)|Dec 1, 2019

Explainable Artificial Intelligence (XAI)被引用数 24

ひとこと要約

本論文は、知識グラフ（KGs）からの構造的知識を深層ニューラルネットワークの隠れ層に深く統合することで表現学習を向上させる、神経記号的フレームワークである知識統合学習（K-IL）を提案する。KGと深層特徴の間の意味的空間を、リャプノフ安定性とシルベスター最適化を用いた変換によって整列させることで、K-ILはバイアス、誤検出、データ依存性を低減するとともに、説明可能性、耐性、一般化性能を向上させる。これは、現実世界のAI応用において顕著である。

ABSTRACT

Learning the underlying patterns in data goes beyond instance-based generalization to external knowledge represented in structured graphs or networks. Deep learning that primarily constitutes neural computing stream in AI has shown significant advances in probabilistically learning latent patterns using a multi-layered network of computational nodes (i.e., neurons/hidden units). Structured knowledge that underlies symbolic computing approaches and often supports reasoning, has also seen significant growth in recent years, in the form of broad-based (e.g., DBPedia, Yago) and domain, industry or application specific knowledge graphs. A common substrate with careful integration of the two will raise opportunities to develop neuro-symbolic learning approaches for AI, where conceptual and probabilistic representations are combined. As the incorporation of external knowledge will aid in supervising the learning of features for the model, deep infusion of representational knowledge from knowledge graphs within hidden layers will further enhance the learning process. Although much work remains, we believe that knowledge graphs will play an increasing role in developing hybrid neuro-symbolic intelligent systems (bottom-up deep learning with top-down symbolic computing) as well as in building explainable AI systems for which knowledge graphs will provide scaffolding for punctuating neural computing. In this position paper, we describe our motivation for such a neuro-symbolic approach and framework that combines knowledge graph and neural networks.

研究の動機と目的

• データ不足、バイアス、スパarsity、説明可能性の欠如といった深層学習の限界を是正するため、知識グラフ（KGs）からの構造的知識をニューラルネットワーク表現に直接埋め込むこと。
• 代表的学習段階中に外部知識を深く、原理的かつ体系的に統合できる神経記号的フレームワークを構築すること。
• 大規模でノイズの多いデータセットに依存するモデルの依存度を低下させるために、ドメイン固有の知識を活用し、まれなまたは曖昧な概念の意味の曇りを解消すること。
• 精神的健康、過激主義検出、医療診断といった高コスト分野において、モデルの信頼性を向上させ、誤検出を低減すること。
• 神経的推論のためのスケルトンとして知識を埋め込むことで、モデルの説明可能性とトレーサビリティを向上させること。

提案手法

• 訓練中に深層ニューラルネットワークの潜在的特徴空間に知識グラフ（KGs）からの知識を統合する神経記号的フレームワークを提案する。
• リャプノフ安定性制約を備えた意味的マッピング関数を用い、KGの意味的空間と深層ネットワークの学習済み表現空間を整列させる。
• 非凸最適化問題を解くためにシルベスター最適化アプローチを採用し、安定平衡状態への収束を保証する。
• Frobeniusノルムと割合定数αを用いて、KGの構造とネットワークの潜在的特徴の乖離を最小化する目的関数を定義する。
• KG埋め込みを深層ネットワーク表現にマップする変換行列Wを学習するために最適化を適用し、双方向整列を可能にする。
• 複数の層にわたり知識統合を実施することで、ネットワーク全体にわたり、動的かつ段階的な表現の伝搬と精錬を可能にする。

実験結果

リサーチクエスチョン

• RQ1 どこで、いつ、どの程度の知識を深層ニューラルネットワークの層に統合すべきかをどのように特定し、注入量を定量化できるか？
• RQ2 深層ネットワークの潜在的表現と、知識グラフからの外部知識表現を効果的に統合する方法は何か？
• RQ3 潜在的表現を通じて知識を伝搬させる際、安定性を維持するとともに学習を改善する方法は何か？
• RQ4 知識グラフと深層ニューラル特徴の意味的空間の間で、安定的かつ意味的に意味のある整列を保証する最適化戦略は何か？
• RQ5 深層的知識統合が、低データ、高不確実性、または高リスク分野におけるモデルパフォーマンスをどのように向上させるか？

主な発見

• 知識統合学習は、精神的疾患予測における誤検出を顕著に低減し、深層KG統合により30％の誤陽性削減を達成した。
• オンライン過激主義検出における浅い知識統合は、正確性を向上させ、バイアスを持つモデルによる社会的差別のリスクを低減した。
• 限られたCTスキャンデータを用いた肺がん診断において、知識統合CNNは、専門家がキュレートした知識で特徴空間を豊かにすることで、感度と特異度の両方を向上させた。
• K-ILフレームワークは、ノイズに対する耐性を高め、特徴頻度への依存性を低減し、精度を損なわずに再現率を向上させた。
• リャプノフ安定性とシルベスター最適化の活用により、KGとニューラル表現の間で安定的かつ微分可能な整列が可能となり、エンドツーエンド学習を支援した。
• 知識の深層的統合は、ソーシャルメディア分析や医療分野など、複雑で文脈に依存する分野において、一般化性能の向上、バイアス低減、説明可能性の向上をもたらした。