[論文レビュー] Semantic Probabilistic Layers for Neuro-Symbolic Learning

Kareem Ahmed, Stefano Teso+3 more|arXiv (Cornell University)|Jun 1, 2022

Neural Networks and Applications被引用数 15

ひとこと要約

この論文では、論理的制約を確率的回路を通じて構造的出力に強制することで、予測の正確性と論理的一致性を保証する微分可能ニューラルネットワーク層、Semantic Probabilistic Layers (SPL) を導入する。SPL は階層的マルチラベル分類およびパス探索タスクにおいて、最先端の神経記号的手法を上回り、完全な制約満足を保証するとともに、エンドツーエンド学習を可能にする。

ABSTRACT

We design a predictive layer for structured-output prediction (SOP) that can be plugged into any neural network guaranteeing its predictions are consistent with a set of predefined symbolic constraints. Our Semantic Probabilistic Layer (SPL) can model intricate correlations, and hard constraints, over a structured output space all while being amenable to end-to-end learning via maximum likelihood. SPLs combine exact probabilistic inference with logical reasoning in a clean and modular way, learning complex distributions and restricting their support to solutions of the constraint. As such, they can faithfully, and efficiently, model complex SOP tasks beyond the reach of alternative neuro-symbolic approaches. We empirically demonstrate that SPLs outperform these competitors in terms of accuracy on challenging SOP tasks including hierarchical multi-label classification, pathfinding and preference learning, while retaining perfect constraint satisfaction.

研究の動機と目的

• ニューラルネットワークがドメイン固有の制約を破る傾向がある構造的出力予測（SOP）タスクにおいて、論理的一致性を保証する課題に対処すること。
• 訓練効率や表現力に影響を与えないように、シンボリックな制約と確率的推論を統合するモジュール型で微分可能な層を設計すること。
• 正確な確率的推論を制限しながら、予測を事前に定義された論理的制約の有効な解に制限するエンドツーエンド学習を可能にすること。
• 既存の神経記号的アプローチが制約満足を保証できないか、複雑な制約では計算が非効率になるという限界を克服すること。

提案手法

• SPL は、正確な推論により硬い制約を強制しつつ、複雑で相関のある構造的出力の分布を確率的回路でモデル化する。
• 標準的な出力層（例：シグモイド）の微分可能で即座に差し替え可能な、プラグイン型の層として構築される。
• 出力の学習済み分布と論理的制約式 K を組み合わせ、分布のサポートを K を満たす割り当てに限定する。
• パス探索タスクのように制約回路が大きくなる場合のスケーラビリティを確保するため、2回路構成を採用する。
• 最大尤度推定を用いた訓練により、モデルが同時に分布と制約の遵守を学習する。
• 完全な確率的意味論をサポートし、複雑な依存関係下でも不確実性推定と効率的な推論が可能になる。

実験結果

リサーチクエスチョン

• RQ1 表現力や訓練効率を損なわず、論理的一致性を保証する微分可能なニューラルネットワーク層を設計できるか？
• RQ2 確率的回路に基づく神経記号的層は、階層的マルチラベル分類やパス探索といった複雑な制約を伴う実世界のSOPタスクで、どの程度の性能を示すか？
• RQ3 シンボリックな制約を組み込むことで、制約なしまたはヒューリスティック正則化モデルと比較して予測精度がどの程度向上するか？
• RQ4 グリッドベースのパス探索で数千の可能なパスが生じるような大規模な制約空間に対しても、提案された層はスケーラブルか？

主な発見

• SPL は階層的マルチラベル分類において最先端の手法を著しく上回り、12のデータセットのうち11つで HMCNN より高い正確一致スコアを達成した。
• ウォリアーク短いパスタスクでは、最良のベースライン（FIL）より約23%、Semantics Loss（SL）より19%の予測精度向上を達成した。また、常に有効なパスを出力した。
• 評価されたすべてのタスクにおいて、SPL は完全な制約満足を維持した。一方、制約なしまたは損失ベースのアプローチでは、推論時に有効性が保証されなかった。
• Diatoms では 99.75% の F1 スコア、Imclef07a では 99.40% の F1 スコアを達成し、ハミングスコアの低下も最小限に抑え、ほぼ完璧な性能を示した。
• アブレーションスタディにより、過剰パラメータ化が SPL の表現力を高め、複数のデータセットで性能向上をもたらすことが確認された。
• 2回路実装により、最大 10^10 ノードに達する大規模な制約回路に対してもスケーラビリティが確保され、複雑なドメインにおける実用的妥当性が示された。