[論文レビュー] Neurosymbolic AI and its Taxonomy: a survey

Wandemberg Gibaut, Leonardo Pereira+6 more|arXiv (Cornell University)|May 12, 2023

Neural Networks and Applications被引用数 6

ひとこと要約

本調査は、説明可能でデータ効率の良いAIシステムを実現するため、深層学習と記号的推論を統合する神経記号的AIの包括的な分類体系を提案する。14の主要なモデル—論理テンソルネットワーク（LTN）、ニューラル論理マシン（NLM）、論理ニューラルネットワーク（LNN）—を評価し、データからの学習と論理的推論を組み合わせることで、知識ベースの質問応答やフェアネス指向AIなどのタスクで優れた性能を示すことを実証した。特に、1つのベンチマークでLNNは決定論的なSPARQL変換を2.9%上回った。

ABSTRACT

Neurosymbolic AI deals with models that combine symbolic processing, like classic AI, and neural networks, as it's a very established area. These models are emerging as an effort toward Artificial General Intelligence (AGI) by both exploring an alternative to just increasing datasets' and models' sizes and combining Learning over the data distribution, Reasoning on prior and learned knowledge, and by symbiotically using them. This survey investigates research papers in this area during recent years and brings classification and comparison between the presented models as well as applications.

研究の動機と目的

• 神経記号的AIモデルの体系的分類体系を提供し、知識表現、学習、推論メカニズムの観点から分類すること。
• 説明可能性とデータ効率の向上を図る、深層学習と記号的推論を統合した神経記号的システムにおける最近の進展を分析すること。
• 知識ベースの質問応答、AIにおけるフェアネス、マルチモーダル言語理解を含む多様な応用分野における神経記号的モデルの性能を評価すること。
• 現在の神経記号的AIにおける主な制約、たとえばモデルの持続性の欠如、説明のユーザーフレンドリー性の不足、比較的ベンチマークの不十分さを特定すること。
• 特にフェアネス、バイアス低減、従来の機械学習および記号的AIとの統合に焦点を当てた、未だ未開拓の研究機会を強調すること。

提案手法

• 著者らは、14篇の最近の神経記号的AI論文を体系的に調査し、そのコアアーキテクチャ、学習パラダイム、推論メカニズムを分析した。
• モデルは、知識表現（例：テンソル化、命題化）、学習タイプ（誘導的、垂直統合型）、推論戦略（前向き/後向きチェーン、近似SATソルバ）に基づいて分類された。
• 調査は、ベンチマークデータセットにおけるモデルの性能を評価し、質問応答タスクにおける神経記号的推論と決定論的記号的変換（例：SPARQL）の比較を含む。
• LTN、LNN、NLMといった主要モデルは、微分可能な論理とニューラルネットワークを統合することで、エンドツーエンドの学習と学習・推論の共同最適化を可能にする能力について分析された。
• NSQAにおけるLNN推論、テキストベースのゲーム用LOA、短いテキストのエンティティリンク用LNN-ELといった応用事例のケーススタディが含まれる。
• 著者らは、現在の神経記号的AI研究における重要な盲点を特定・議論しており、モデルの持続性の欠如、非エキスパート向けの説明の限界、非記号的モデルとの比較評価の不十分さが含まれる。

実験結果

リサーチクエスチョン

• RQ1 神経記号的AIモデルは、説明可能性とデータ効率の向上を図るために、どのようにニューラル学習と記号的推論を効果的に統合できるか？
• RQ2 LTN、LNN、NLMといった主要な神経記号的フレームワーク間の、主なアーキテクチャ的および手法論的差異は何か？
• RQ3 知識ベースの質問応答やバイアス低減といったタスクにおいて、神経記号的モデルは、完全にニューラル的または記号的なベースラインをどの程度上回るのか？
• RQ4 特にモデルの持続性、ユーザーフレンドリーな説明、比較的ベンチマーク評価の観点から、神経記号的AIにおける現在の制約は何か？
• RQ5 神経記号的AIは、機械学習におけるアルゴリズムバイアスとフェアネスをさらにどのように活用できるか？

主な発見

• NSQAシステムにおけるLNNベースの推論アプローチは、あるデータセットで決定論的なSPARQL変換を2.9%上回り、複雑なクエリ理解における神経記号的推論の優位性を示した。
• LTNやLNNのような神経記号的モデルは、多関係的推論、カウントベース推論、スーパークラス推論、比較推論を含む多様な推論タイプをサポートしており、表3に示されている。
• 調査では、LTNにおけるモデルの持続性の欠如が特定された。訓練済みモデルは再訓練なしでは保存できないため、実用的導入の障壁となっている。
• 神経記号的モデルの説明は、主にエキスパート向けにカスタマイズされており、よりユーザーフレンドリーな解釈インターフェースの必要性が浮き彫りになった。
• 神経記号的モデルと論理的でないアプローチ（例：深層学習、決定木、従来の記号的システム）との間の比較評価が著しく不足している。
• 神経記号的AIとフェアネス・バイアス低減の統合は有望ではあるが、未だ未開拓であり、この分野に焦点を当てた論文は僅かに数点にとどまっている。