[論文レビュー] Neurosymbolic AI for Reasoning over Knowledge Graphs: A Survey

Lauren Nicole DeLong, Ramon Fernández Mir+1 more|arXiv (Cornell University)|Feb 14, 2023

Advanced Graph Neural Networks被引用数 6

ひとこと要約

本調査は、知識グラフ推論における神経記号的AI手法のための新規分類法を提案し、3つのタイプに分類する：論理的に情報化された埋め込み、論理的制約を伴う埋め込み、ルール学習アプローチ。コードリンクを含む包括的な比較を提供し、解釈可能性、少数の例への学習、知識グラフ上の時空間的推論に関する主な課題と今後の研究方向性を特定する。

ABSTRACT

Neurosymbolic AI is an increasingly active area of research that combines symbolic reasoning methods with deep learning to leverage their complementary benefits. As knowledge graphs are becoming a popular way to represent heterogeneous and multi-relational data, methods for reasoning on graph structures have attempted to follow this neurosymbolic paradigm. Traditionally, such approaches have utilized either rule-based inference or generated representative numerical embeddings from which patterns could be extracted. However, several recent studies have attempted to bridge this dichotomy to generate models that facilitate interpretability, maintain competitive performance, and integrate expert knowledge. Therefore, we survey methods that perform neurosymbolic reasoning tasks on knowledge graphs and propose a novel taxonomy by which we can classify them. Specifically, we propose three major categories: (1) logically-informed embedding approaches, (2) embedding approaches with logical constraints, and (3) rule learning approaches. Alongside the taxonomy, we provide a tabular overview of the approaches and links to their source code, if available, for more direct comparison. Finally, we discuss the unique characteristics and limitations of these methods, then propose several prospective directions toward which this field of research could evolve.

研究の動機と目的

• 知識グラフ（KGs）における解釈可能で知識統合型の推論の増大するニーズに対応するため、神経記号的AI手法を調査すること。
• 特に希少な関係タイプ、長距離依存関係、異種情報の処理において、現在のKG推論アプローチの限界を特定すること。
• 象徴的およびニューラルコンポonentの統合を特徴とする、アーキテクチャに基づいた新規分類法を提案すること。
• 再現可能性とベンチマークの支援を目的として、利用可能なソースコードを含む、既存手法の比較的概要を提供すること。
• 今後の発展のための新たな研究方向性、例えば時空間的推論と少数の例への学習を特定すること。

提案手法

• 本論文は三段階の分類法を導入する：(1) 論理的に情報化された埋め込みアプローチ、ここで象徴的推論がニューラル埋め込み学習の前後に行われる；(2) 論理的制約を伴う埋め込み手法、ここで訓練中に象徴的ルールが強制される；(3) ルール学習アプローチ、ここでKGデータから直接論理的ルールが発見される。
• 著者らは、解釈可能性、ガイド付き訓練、未代表的タイプの処理、長距離依存関係、異種情報の集約といった主要特徴に基づいて、各カテゴリを分析する。
• 表形式の比較が提供され、アプローチ、モデルアーキテクチャ、データセット性能、およびソースコードの可用性を要約する。
• 再利用可能性とアクセシビリティを高めるために、公に利用可能なコードリポジトリを統合した中央集権的なGitHubページを構築する。
• 論文は、平均逆順位（MRR）や10位以内のヒット（Hits@10）といった指標を用いて、知識グラフ補完（KGC）タスクにおいて手法を評価する。
• 神経記号的モデルが、生物学的または交通網の制約といったドメイン固有の知識を論理的ルールや制約としてエンコードすることで、知識グラフに統合できることを議論する。

実験結果

リサーチクエスチョン

• RQ1 神経記号的AIは、知識グラフ推論において、象徴的推論の解釈可能性とディープラーニングの表現力の両方を効果的にバランスさせられるか？
• RQ2 知識グラフにおける神経記号的手法を特徴付ける主なアーキテクチャ的パターンは何か？そして、象徴的およびニューラルコンポーネントをどのように統合するか？
• RQ3 神経記号的手法は、知識グラフにおける希少または未代表的関係タイプのパフォーマンスをどのように向上させられるか？
• RQ4 神経記号的モデルは、遺伝子発現や交通フローをモデル化するような時空間的知識グラフをどのように扱えるように適応できるか？
• RQ5 神経記号的推論における知識グラフ分野における、特に少数の例への学習と動的環境モデリングの分野で、最も有望な今後の研究方向性は何か？

主な発見

• 提案された分類法は、神経記号的手法を3つの明確なファミリーに分類するのに効果的である：論理的に情報化された埋め込み、制約付き埋め込み、ルール学習アプローチ。それぞれが解釈可能性と一般化性において独自の強みを示す。
• pLogicNet や pGAT などの手法は、論理的に推論された三項関係を知識グラフに追加することで、希少関係のための訓練データを増加させ、少数の例への学習を改善する。
• 微分可能論理や制約ベース最適化を用いる論理的制約付き埋め込みモデルは、長距離依存関係や分布外エンティティにおいて、より高いロバストネスと一般化性能を示す。
• 生物学的ネットワークにおけるmRNA半減期制約といったドメイン固有のルールの統合により、知識グラフにおける時空間的ダイナミクスのより現実的なモデリングが可能になる。
• 本調査では、標準化されたベンチマークとコードの可用性の欠如が特定され、再現可能性および異種手法間の比較を支援するための中央集権リポジトリの必要性が強調されている。
• 著者らは、神経記号的アプローチが、科学的および医療分野の知識グラフ応用において、高いパフォーマンスと解釈可能性を併せ持つハイブリッドAIシステムへの実現可能性のある道筋を提供すると結論づける。