[論文レビュー] Logic-Based Explainability in Machine Learning

João Marques‐Silva|arXiv (Cornell University)|Oct 24, 2022

Explainable Artificial Intelligence (XAI)被引用数 5

ひとこと要約

本稿は、SAT、SMT、MILPソルバなどの自動推論技術を用いて、論理的かつ整合的な説明を提供する、論理ベースの形式的説明可能性を導入する。帰納的および対照的説明の形式的定義を確立し、その計算複雑性を示し、多様な分類器の論理符号化を提供することで、高リスクな機械学習応用分野における、証明可能で解釈可能な説明を実現する。

ABSTRACT

The last decade witnessed an ever-increasing stream of successes in Machine Learning (ML). These successes offer clear evidence that ML is bound to become pervasive in a wide range of practical uses, including many that directly affect humans. Unfortunately, the operation of the most successful ML models is incomprehensible for human decision makers. As a result, the use of ML models, especially in high-risk and safety-critical settings is not without concern. In recent years, there have been efforts on devising approaches for explaining ML models. Most of these efforts have focused on so-called model-agnostic approaches. However, all model-agnostic and related approaches offer no guarantees of rigor, hence being referred to as non-formal. For example, such non-formal explanations can be consistent with different predictions, which renders them useless in practice. This paper overviews the ongoing research efforts on computing rigorous model-based explanations of ML models; these being referred to as formal explanations. These efforts encompass a variety of topics, that include the actual definitions of explanations, the characterization of the complexity of computing explanations, the currently best logical encodings for reasoning about different ML models, and also how to make explanations interpretable for human decision makers, among others.

研究の動機と目的

• 既存のモデルに依存しない説明手法に見られる論理的不整合や信頼性の欠如を是正すること。
• 人間の意思決定者にとって証明可能で解釈可能な、形式的かつ論理的根拠に基づいた機械学習モデルの説明を開発すること。
• さまざまな分類器ファミリーにおける説明の計算複雑性を特定し、多項式時間で解ける（ tractable ）場合とそうでない（ intractable ）場合を区別すること。
• 説明が論理的に整合的かつ検証可能であることを保証することで、高リスクおよび安全が重要な応用分野における信頼性のあるAIを実現すること。
• 自動推論や証明支援ツールなどの形式的手法を統合し、説明および説明可能性クエリの正当性を証明すること。

提案手法

• 命題論理および一階論理に基づく帰納的および対照的推論フレームワークを用いて、形式的説明を定義する。
• 分類器の挙動を論理式に符号化することで、SAT、SMT、MILPソルバをバックエンド推論エンジンとして用い、正確な説明を計算する。
• 決定木、決定リスト、ニューラルネットワーク、木アンサンブルなど、多様なモデルの論理符号化を開発する。
• 説明の属するか否か、複数の説明を列挙するなど、説明可能性クエリを自動推論で解ける論理的決定問題として定式化する。
• 入力分布および特徴制約を考慮した確率的推論を拡張することで、確率的説明を定義・計算する。
• 複雑なモデルを説明するために、形式的保証を備えたサーロウモデルを適用し、論理的検証によって正しさを保証する。

実験結果

リサーチクエスチョン

• RQ1 どのようにして、非形式的かつモデルに依存しない手法の欠点を避ける、形式的かつ論理的に厳密な機械学習モデルの説明を定義できるか？
• RQ2 さまざまな分類器ファミリーにおける形式的説明の計算複雑性は何か？ また、どのクラスが多項式時間で解ける解法を有するか？
• RQ3 形式的検証および証明支援ツールを用いて、説明の正しさと一貫性をどのように保証できるか？
• RQ4 入力制約および入力分布は、形式的説明の正確性と関連性を向上させるために果たす役割は何か？
• RQ5 複雑なモデルを説明するために、形式的保証を維持したまま、サーロウモデルを用いることは可能か？

主な発見

• 論理的推論に基づく形式的説明は、非形式的手法に見られる矛盾を避けて、論理的に整合的かつ証明可能な正しさを持つ。
• 本稿は、帰納的、対照的、グローバルな説明を含む包括的な形式的説明フレームワークを確立し、形式的定義と複雑性の特徴付けを提供する。
• 決定木および単調性を持つ分類器では、説明の計算が多項式時間で可能であり、論理符号化により効率的な説明生成が可能である。
• SAT/SMT/MILPソルバの使用により、ニューラルネットワークや木アンサンブルを含む多様なモデルにおいて、正確かつスケーラブルな説明計算が実現される。
• 確率的説明は、確率的推論を拡張した論理符号化により、形式的に定義・計算可能であり、不確実性下での解釈性を向上させる。
• 形式的手法（例：証明支援ツール）による説明の認証は実現可能であり、高リスク分野においては不可欠であり、実装の正しさと信頼性を保証する。