[論文レビュー] Interpretable Neural-Symbolic Concept Reasoning

Pietro Barbiero, Gabriele Ciravegna+8 more|arXiv (Cornell University)|Apr 27, 2023

Explainable Artificial Intelligence (XAI)参考文献 57被引用数 6

ひとこと要約

本論文では、ニューラルコンセプト埋め込みから記号論理規則を構築する、最初の解釈可能でコンセプトベースのモデルであるDeepコンセプトリーダー（DCR）を紹介する。このモデルは微分可能で意味的に意味のある推論を可能にし、従来のモデルと比較して最大+25%の精度向上を達成するとともに、人間が理解可能な規則を発見し、コンセプトの監視なしに対仮説的例の生成を可能にする。

ABSTRACT

Deep learning methods are highly accurate, yet their opaque decision process prevents them from earning full human trust. Concept-based models aim to address this issue by learning tasks based on a set of human-understandable concepts. However, state-of-the-art concept-based models rely on high-dimensional concept embedding representations which lack a clear semantic meaning, thus questioning the interpretability of their decision process. To overcome this limitation, we propose the Deep Concept Reasoner (DCR), the first interpretable concept-based model that builds upon concept embeddings. In DCR, neural networks do not make task predictions directly, but they build syntactic rule structures using concept embeddings. DCR then executes these rules on meaningful concept truth degrees to provide a final interpretable and semantically-consistent prediction in a differentiable manner. Our experiments show that DCR: (i) improves up to +25% w.r.t. state-of-the-art interpretable concept-based models on challenging benchmarks (ii) discovers meaningful logic rules matching known ground truths even in the absence of concept supervision during training, and (iii), facilitates the generation of counterfactual examples providing the learnt rules as guidance.

研究の動機と目的

• コンセプトベースの深層学習における解釈可能性と精度のトレードオフを解消し、コンセプト表現に意味的意味を保持すること。
• 高次元のコンセプト埋め込みはモデル性能の向上に寄与するが、解釈可能な意味的意味を欠いているという限界を克服すること。
• ニューラル学習とコンセプト埋め込み上の記号的推論を統合する、一貫性のあるエンドツーエンド微分可能なフレームワークを構築すること。
• ブラックボックスなニューラルコンponentに依存せずに、予測を説明する人間が読める論理規則を生成することで、モデルの透明性を高めること。
• トレーニング中に学習された明示的で解釈可能な論理規則を活用して、人間が理解できる形で対仮説的例の生成を可能にすること。

提案手法

• 予測に直接使用するのではなく、ニューラルネットワークを用いてコンセプト埋め込みを構文的規則構造に組み合わせること。
• 微分可能な活性化関数を用いてコンセプト埋め込みを真偽度に変換し、ファジィ論理推論を可能にすること。
• t-ノルムおよびt-コノールを用いて複数のコンセプトを微分可能な演算子で結合する重み付き論理規則を構築すること。
• これらの規則を真偽度に対して実行し、微分可能な方法で解釈可能な最終予測を生成すること。
• タスクの精度と正例コンセプトとの規則の一貫性を最適化する損失関数を用いて、システム全体をエンドツーエンドで訓練すること。
• 入力特徴が意味的に明確でない場合に、生の入力（画像、表形式、グラフ）をコンセプト空間にマップするコンセプトエンコーダーを統合すること。

Figure 1: (a) An interpretable concept-based model $f$ maps concepts $\hat{C}$ to tasks $\hat{Y}$ generating an interpretable rule. When input features are not semantically meaningful, a concept encoder $g$ can map raw features to a concept space. (b) The proposed approach (DCR) outperforms interpre

実験結果

リサーチクエスチョン

• RQ1 コンセプトベースのモデルは、記号論理規則による完全な解釈可能な意思決定プロセスを維持しながら、高い精度を達成できるか？
• RQ2 トレーニング時に明示的なコンセプトの監視がなくても、コンセプト埋め込みから意味的かつ一貫性のある論理規則を発見できるか？
• RQ3 学習された記号的規則が、人間が理解できる形で対仮説的例の生成をどの程度支援できるか？
• RQ4 解釈可能な論理規則を用いて推論するモデルの性能は、最先端の解釈可能モデルおよびブラックボックスモデルと比較してどうか？
• RQ5 コンセプト埋め込み上で微分可能な記号的推論は、解釈性を目的とする埋め込みベースのモデルに比べて優れているか？

主な発見

• DCRは、挑戦的なベンチマークにおいて、最先端の解釈可能なコンセプトベースのモデルと比較して、最大+25%の精度向上を達成した。
• トレーニング時にコンセプトの監視が提供されていなくても、DCRは既知の正例関係と整合する論理規則を発見した。
• 学習された記号的規則を解釈可能なガイダンスとして活用することで、DCRは効果的な対仮説的例の生成を可能にした。
• DCRのブール規則の集約的行動は、グローバルモデルの挙動を近似し、既知の事実関係と一致した。
• ブラックボックスなニューラルモデルや推論が暗黙的なニューラル記号系とは異なり、DCRは意思決定プロセスを明示的に記号的規則にエンコードすることで解釈性を維持した。
• DCRは、表形式、画像、グラフデータを含む多様なデータタイプにおいて優れた一般化性能を示したが、意味的解釈性を保持したままだった。

Figure 3: Mean ROC AUC for task predictions for all baselines across all tasks (the higher the better). DCR often outperforms interpretable concept-based models. CE stands for concept embeddings, while CT for concept truth degrees. Models trained on concept embeddings are not interpretable as concep