[論文レビュー] Actionable Interpretability Must Be Defined in Terms of Symmetries

Pietro Barbiero, Mateo Espinosa Zarlenga+5 more|arXiv (Cornell University)|Jan 19, 2026

Explainable Artificial Intelligence (XAI)被引用数 0

ひとこと要約

論文は、推論の可換性（inference equivariance）、情報不変性（information invariance）、概念閉包不変性（concept-closure invariance）、構造的不変性（structural invariance）の四つの対称性を通じて、形式的かつ実行可能な解釈性の概念を確立できると主張する。これにより解釈可能な推論を統一し、安全基準に対する検証を可能にする probabilistic Markov-category フレームワーク内で統合する。

ABSTRACT

This paper argues that interpretability research in Artificial Intelligence (AI) is fundamentally ill-posed as existing definitions of interpretability fail to describe how interpretability can be formally tested or designed for. We posit that actionable definitions of interpretability must be formulated in terms of *symmetries* that inform model design and lead to testable conditions. Under a probabilistic view, we hypothesise that four symmetries (inference equivariance, information invariance, concept-closure invariance, and structural invariance) suffice to (i) formalise interpretable models as a subclass of probabilistic models, (ii) yield a unified formulation of interpretable inference (e.g., alignment, interventions, and counterfactuals) as a form of Bayesian inversion, and (iii) provide a formal framework to verify compliance with safety standards and regulations.

研究の動機と目的

• 現在の解釈可能性の定義は不適切で検証性に欠ける、という主張。
• 解釈可能モデルの正式で検証可能な基礎として四つの対称性を提案。
• 解釈可能モデルを Markov カテゴリとして形式化し、ベイズ反転と結びつける。
• 解釈可能性の下で counterfactual の整合、介入、推論の枠組みを提供する。
• 安全基準と規制遵守への示唆を強調する。

提案手法

• 解釈可能性の四つの対称性：inference equivariance、information invariance、concept-closure invariance、structural invariance を導入。
• 文字列ダイアグラムを用いた確率的・カテゴリー理論的（Markov category）フレームワーク内での解釈可能性のモデリング。
• 概念ベースの変換を組み合わせて推論モデルのカテゴリーを定義し、理由付けを行う。
• 対称性が、 alignment、介入、counterfactuals をベイズ反転の形として統一的な見方を生み出すことを示す。
• これらの対称性が、解釈可能なシステムの検証と設計指針を実現可能にすることを論じる。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 解釈可能性の非公式な記述を正式に統合するにはどうすればよいか。
• RQ2 RQ2: 圧縮と情報不変性を通じて推論の可換性を扱いやすくするにはどうすればよいか。
• RQ3 RQ3: 概念閉包の観点から翻訳の健全性には何が必要か。
• RQ4 RQ4: 解釈可能モデルの構造はユーザーの仮説空間とどう整合させるべきか。
• RQ5 RQ5: 解釈可能モデルとそのカテゴリー理論的構造をどう形式化するか。
• RQ6 RQ6: 人間の概念とモデルの概念をどう学習・整合させるか。
• RQ7 RQ7: 解釈可能モデルはどの問いや介入をサポートするか。

主な発見

• 解釈可能性は、モデル設計と検証を構造化する四つの対称性によって formal化できる。
• Inference equivalence は人間の心的モデルとモデル出力を可換図を通じて結びつける。
• 情報不変性は Y に関係する全情報を保持する圧縮表現を用いて現実的な検証を可能にする。
• 概念閉包不変性は翻訳が概念の意味を保持することを要求し、モデルと人間の語彙を整合させる。
• 構造的不変性は解釈可能性をユーザーの認知的仮説空間に結びつけ、ユーザーが感知・推定できる振る舞いを保証する。
• この枠組みは概念の確率的解釈と、概念空間と概念ベース変換から構成される解釈可能モデルのカテゴリーを提供する。