[論文レビュー] NeurASP: Embracing Neural Networks into Answer Set Programming

Zhun Yang, Adam Ishay+1 more|arXiv (Cornell University)|Jul 15, 2023

Multi-Agent Systems and NegotiationComputer Science被引用数 3

ひとこと要約

NeurASPは、ニューラルネットワークの出力を原子的事実上の確率分布として扱うことで、ニューラルネットワークと答え集合プログラミング（ASP）を新しい形で統合する。これにより、サブシンボリックおよびシンボリック推論のハイブリッドが可能となり、シンボリック制約によって認識のロバスト性が向上し、ルールに基づく意味的正則化によってニューラルネットワークの学習が促進される。Sudoku や最短経路予測といったタスクにおいて、少量のデータで高い精度を達成する。

ABSTRACT

We present NeurASP, a simple extension of answer set programs by embracing neural networks. By treating the neural network output as the probability distribution over atomic facts in answer set programs, NeurASP provides a simple and effective way to integrate sub-symbolic and symbolic computation. We demonstrate how NeurASP can make use of a pre-trained neural network in symbolic computation and how it can improve the neural network's perception result by applying symbolic reasoning in answer set programming. Also, NeurASP can be used to train a neural network better by training with ASP rules so that a neural network not only learns from implicit correlations from the data but also from the explicit complex semantic constraints expressed by the rules.

研究の動機と目的

• AIにおける低レベルの認識と高レベルの推論を統合する課題に応えるために、ニューラルネットワークと記号論理を組み合わせること。
• データが限られた状況でも、特にロバスト性と一般化性能を向上させるために、ニューラルネットワークが記号論理的制約を活用できるようにすること。
• 意味的および構造的制約を強制することで、シンボリック推論を用いてニューラル認識の誤りを是正できること。
• 明示的な意味的ルールを正則化として組み込むことで、大規模なラベル付きデータセットへの依存を減らし、ニューラルネットワークの学習を向上させること。
• 複雑な推論構造（例：デフォルト、集約、最適化）を扱える柔軟で拡張可能なフレームワークを提供すること。

提案手法

• ニューラルネットワークの出力を、|nn(m(e,t),[v1,…,vn])| の形をとるニューラルアトムを用いて、原子的事実上の確率分布としてモデル化する。ここで m はニューラルネットワークの識別子、t は入力ポインタを表す。
• システムは、ニューラル出力を確率的事実として扱うことで、標準のASPソルバを用いて安定モデルの計算を可能にする。
• シンボリック推論を用いて、ドメイン制約を強制することで、誤ったSudoku配置や一貫性のないオブジェクト関係といった認識誤りを検出・是正する。
• ルールに基づく制約を暗黙の正則化として用いることで、ASP推論からの意味的損失をバックプロパゲーションし、ニューラルネットワークの学習を強化する。
• このフレームワークは、デフォルト推論、集約、最適化ルールなど、複雑なASP構成をサポートし、従来の神経記号モデルよりも洗練された知識表現を可能にする。
• 学習データは、単一のアトムに限定されず、任意の命題論理式であるため、DeepProbLogなどのモデルと比較して柔軟性が向上する。

実験結果

リサーチクエスチョン

• RQ1 シンボリック推論は、意味的制約違反の検出と是正を通じて、ニューラルネットワーク認識のロバスト性を向上させることができるか？
• RQ2 ASPルールは、特に訓練データが限られた状況下でも、ニューラルネットワークの一般化性能を向上させる有効な意味的正則化として機能するか？
• RQ3 ニューラル出力をASPに統合することで、Sudoku や最短経路問題のような推論集約タスクのパフォーマンスがどの程度向上するか？
• RQ4 表現力、スケーラビリティ、学習効率の観点から、NeurASPは既存の神経記号フレームワークと比較してどの程度優れているか？
• RQ5 動的または文脈に依存する制約（例：グラフ問題におけるランダムに削除されたエッジを含むもの）を処理できるように、このフレームワークを拡張可能か？

主な発見

• 最短経路タスクにおいて、ASPルール（p-r-o）を用いることで、「r」制約の予測精度が100%に上昇した。一方、MLP単体では96.6%にとどまった。
• 「nr」（ランダムに削除されたエッジを含む）ルールを含む学習では、モデルが「nr」制約で70.5%の精度を達成した。ルールなしのベースラインと比較すると、32.9%に比べて顕著に優れた性能を示した。
• Sudokuの数字認識において、NeurASPはニューラルネットワークが数字を誤って分類しても、ASPによるSudokuの一意性制約を強制することで、正しくパズルを解けるようにした。
• 大規模な訓練データの必要性が減少し、最小限のデータでルール拡張された学習を実施した結果、高い精度（例：100%）を達成した。
• NeurASPは、すべての制約カテゴリでベースラインのMLPを上回った。特に複雑な複数制約シナリオ（例：p-r-o-nr）では、ルール統合により精度が23.0%から45.7%に上昇した。
• ASP推論からの意味的損失が、成功裏にニューラルネットワークにバックプロパゲーションされ、データ駆動のパターンを超えた一般化を向上させるルール情報に基づく学習が可能になった。