[論文レビュー] Towards Cognitive AI Systems: a Survey and Prospective on Neuro-Symbolic AI

Zishen Wan, Che-Kai Liu+8 more|arXiv (Cornell University)|Jan 2, 2024

Neural Networks and Applications被引用数 6

ひとこと要約

この論文はニュー・シンボリックAI(NSAI)を調査し、システムレベルのワークロードと計算オペレータを分析し、3つのNSAIモデルをプロファイルし、認知AIシステムの課題と今後の研究方向性を概説します。

ABSTRACT

The remarkable advancements in artificial intelligence (AI), primarily driven by deep neural networks, have significantly impacted various aspects of our lives. However, the current challenges surrounding unsustainable computational trajectories, limited robustness, and a lack of explainability call for the development of next-generation AI systems. Neuro-symbolic AI (NSAI) emerges as a promising paradigm, fusing neural, symbolic, and probabilistic approaches to enhance interpretability, robustness, and trustworthiness while facilitating learning from much less data. Recent NSAI systems have demonstrated great potential in collaborative human-AI scenarios with reasoning and cognitive capabilities. In this paper, we provide a systematic review of recent progress in NSAI and analyze the performance characteristics and computational operators of NSAI models. Furthermore, we discuss the challenges and potential future directions of NSAI from both system and architectural perspectives.

研究の動機と目的

• 次世代AIの必要性を、純粋な深層学習を超えた効率性・堅牢性・説明可能性で動機づける。
• NSAIアルゴリズムを系統的に分類し、ニューラル・シンボリック・確率的要素の統合を整理する。
• 代表的なNSAIモデルの実行時特性と計算オペレーターをプロファイルしてボトルネックを特定する。
• NSAI向けデータセット・統一フレームワーク・ベンチマーキング・認知ハードウェアの課題と方向性を論じる。

提案手法

• Kautzの分類に触発された5つのパラダイムにNSAIアルゴリズムを分類する：Symbolic[Neuro], Neuro|Symbolic, Neuro:SymbolicrightarrowNeuro, Neuro[Symbolic], and Neuro[Symbolic] (LTN/Neural Tensor Networks variants).
• 基礎となるオペレーションをベクトル表現と非ベクトル表現にマッピングし、各パラダイムの例となるシステムを列挙する（例：AlphaGo/AlphaZero, NVSA, NeuPSL, NSVQA, LNNs, LTNs）。
• CPU/GPU上でPyTorch Profilerを用いて、3つの代表的なNSAIモデル（LNN, LTN, NVSA）をプロファイルし、関数ごとの実行時間を取得する。
• 計算オペレータを6つのカテゴリ（畳み込み、MatMul、ベクトル/要素ごと、データ変換、データ移動、その他）に分類し、ニューラルとシンボリックのワークロードを分析する。
• 実行時間の内訳を分析してボトルネックとNSAI推論パイプラインのデータフローへの影響を特定する。

実験結果

リサーチクエスチョン

• RQ1 主要なNSAIパラダイムは何で、それらはニューラル・シンボリック・確率的要素をどのように統合しているのか。
• RQ2 一般的なハードウェア上での代表的なNSAIモデルの実行時特性とボトルネックは何か。
• RQ3 ニューラルとシンボリックのワークロードが総レイテンシにどのように寄与するか、より大規模なNSAIワークロードでどのようなスケーラビリティの課題が生じるか。

主な発見

• シンボリックなワークロードがNSAIモデルのレイテンシを支配し得ることが示され、神経 vs シンボリック成分の割合としてLNN (54.6%), LTN (45.4%), NVSA (7.9%)が報告されている。
• NVSAは、推論における順次的な規則検出のため、象徴的ボトルネックが強く、象徴的/総実行時間の約92.1%を占める。
• ニューラルワークロードは主にMatMulと活性化操作によって牽引される一方、NVSAは認識バックボーンのためMatMulと畳み込みに大きく依存している。
• テストサイズを跨いで総NSAI実行時間は二乗的に増加し、より大きな推論タスクのスケーラビリティボトルネックを示している。
• 象徴的コンポーネントは複雑な制御フローとデータ移動の課題を示し、アーキテクチャとデータフローの最適化が効果をもたらす可能性を示唆している。
• 本論文は、NSAIワークロードに特化した統一的なニュー-シンボリック-確率フレームワーク、ベンチマーク標準、および認知ハードウェアの必要性を指摘している。