[論文レビュー] Not All Neuro-Symbolic Concepts Are Created Equal: Analysis and Mitigation of Reasoning Shortcuts

Emanuele Marconato, Stefano Teso+2 more|arXiv (Cornell University)|May 31, 2023

Neural Networks and Applications被引用数 4

ひとこと要約

この論文は、神経記号的（NeSy）モデルにおける推論の短絡（RS）を特定・形式化する。RSとは、学習済み概念における意図しない意味的構造を巧みに利用することで、意図された記号的知識に従わずして高い精度を達成する現象である。本研究はRSの4つの根本的要因を特定し、教師ありおよび教師なしの緩和戦略を提案。実験的に、偏りのない大規模データセットでさえもRSが持続することを示し、解釈可能性と信頼性を損なうものである。

ABSTRACT

Neuro-Symbolic (NeSy) predictive models hold the promise of improved compliance with given constraints, systematic generalization, and interpretability, as they allow to infer labels that are consistent with some prior knowledge by reasoning over high-level concepts extracted from sub-symbolic inputs. It was recently shown that NeSy predictors are affected by reasoning shortcuts: they can attain high accuracy but by leveraging concepts with unintended semantics, thus coming short of their promised advantages. Yet, a systematic characterization of reasoning shortcuts and of potential mitigation strategies is missing. This work fills this gap by characterizing them as unintended optima of the learning objective and identifying four key conditions behind their occurrence. Based on this, we derive several natural mitigation strategies, and analyze their efficacy both theoretically and empirically. Our analysis shows reasoning shortcuts are difficult to deal with, casting doubts on the trustworthiness and interpretability of existing NeSy solutions.

研究の動機と目的

• 推論の短絡（RS）を、学習目的の意図しない最適解として、形式的に定義すること。
• RSを可能にする4つの主要要因（データ分布、事前知識構造、学習目的、ニューラル概念抽出器アーキテクチャ）を特定・分析すること。
• 複数のNeSyベンチマークにおいて、教師ありおよび教師なしの緩和戦略の有効性を評価すること。
• 実験的に、RSが大規模で偏りのないデータセットでさえも出現することを示し、既存のNeSyソリューションの信頼性に疑問を呈すること。
• 現在の教師なしの緩和策の限界と、普遍的に効果的な緩和手法が存在しないことの強調。

提案手法

• RSを、論理的制約を満たしながらも、意図された記号的意味論に反するが、正確性を最大化する解として形式化すること。
• RSが、学習目的と概念の意図された意味論との不一致に起因することを特徴づけ、特に目的関数が記号的正しさと整合しない場合に顕著に現れることを示すこと。
• 4つの緩和戦略を提案：(1) 概念正則化（r）、(2) 概念の教師あり監視（c）、(3) ヒューリスティックに基づく概念整合性（h）、(4) マルチタスク学習（mtl）、それぞれ異なる根本的要因を標的とする。
• DPL、SL、LTNといった多様なNeSyアーキテクチャを用いて、XOR、MNIST-EvenOdd、MNIST-Multiplication、BDD-OIAの4つのNeSyデータセットでこれらの戦略を実装・評価すること。
• ラベルレベルおよび概念レベルの混同行列を用いて、モデルが正しい概念意味論を学習しているか、それともRSに陥っているかを評価すること。
• 加法と乗法の両タスクを同時に学習するマルチタスク学習（mtl）を適用し、共通の概念学習を強制することでRSが緩和されるかを検証すること。

実験結果

リサーチクエスチョン

• RQ1 神経記号的モデルに推論の短絡（RS）が出現する正式な条件は何か？
• RQ2 事前知識の構造、データ分布、学習目的、ニューラルアーキテクチャが、RS形成にどのように共同で寄与するか？
• RQ3 教師ありおよび教師なしの緩和戦略は、NeSyモデルにおけるRSをどの程度低減または排除できるか？
• RQ4 RSは大規模で偏りのないデータセットでも持続するのか？その場合、モデルの信頼性および解釈可能性にどのような影響を及えるか？
• RQ5 普遍的に効果的な緩和戦略は存在するのか、それとも異なるモデルやタスクには個別に最適化された解決策が必要なのか？

主な発見

• 推論の短絡は、DPL、SL、LTNといった多様な最先端NeSy予測器に広く影響を及ぼす一般化現象であり、データが大規模で偏りがなくとも発生する。
• 緩和策なしでは、テストされたすべてのNeSyモデルがXORおよびMNISTタスクで正しい概念意味論を学習できず、特定の数字（例：3つの数字）にのみ依存する、あるいは概念を誤って整合させるRSに依存する。
• 教師あり戦略（例：概念の教師あり監視（c）およびマルチタスク学習（mtl））はRSを顕著に低減する。mtlはMNIST-AddMulで対角混同行列を回復させ、正しい概念学習を示している。
• 教師なし戦略（例：正則化（r）およびヒューリスティック統合（h））は多くの場合、RSを完全に排除できない。モデルは依然として最適でない、あるいは誤った概念意味論を学習する。
• rとhの組み合わせは一部で性能を向上させるが、RSの完全排除を保証せず、場合によっては依然として最適でない短絡を採用する。
• 緩和策を施しても、SLやLTNのようなモデルは特定の設定下で依然RSに陥るため、現在の緩和策は脆弱であり、普遍的に有効ではないことが示された。