[論文レビュー] A Learning Theoretic Perspective on Local Explainability

Jeffrey Li, Vaishnavh Nagarajan+2 more|arXiv (Cornell University)|May 3, 2021

Explainable Artificial Intelligence (XAI)参考文献 17被引用数 2

ひとこと要約

本稿は、局所的解釈可能性と学習理論の理論的関係を確立するために、局所近似法におけるモデル精度および説明の整合性の一般化境界を導入する。局所的に解釈可能なモデルがテスト時においてより良い一般化を示すことを証明し、有限の訓練サンプルから得られる説明のための新しい一般化境界を提示する。

ABSTRACT

In this paper, we explore connections between interpretable machine learning and learning theory through the lens of local approximation explanations. First, we tackle the traditional problem of performance generalization and bound the test-time accuracy of a model using a notion of how locally explainable it is. Second, we explore the novel problem of explanation generalization which is an important concern for a growing class of finite sample-based local approximation explanations. Finally, we validate our theoretical results empirically and show that they reflect what can be seen in practice.

研究の動機と目的

• 機械学習における局所的解釈可能性がモデル一般化に与える影響についての理論的理解の欠落を埋めるため。
• 有限サンプルにおける局所近似法の文脈で、説明の一般化問題を形式化し分析するため。
• 局所的解釈可能性に裏付けられた理論的境界を導入することで、解釈可能な機械学習と学習理論を橋渡しするため。
• 理論的主張を実証的に検証し、観察された実用的行動と整合することを示すため。

提案手法

• 局所的解釈可能性の尺度に基づく、テスト時におけるモデル精度の一般化境界を提案し、モデルの局所的挙動がどの程度うまく近似可能かを定量化する。
• 有限サンプルからの説明が真の局所的挙動をどの程度うまく近似できるかを分析する、新しい一般化境界を導入する。
• 局所近似の整合性と経験的リスクを組み合わせた理論的枠組みを用いて、モデルおよび説明のパフォーマンスの両方の境界を導出する。
• LIME風の手法のような近傍ベースの近似を用いた局所的解釈可能性の形式化を採用し、有限サンプルの設定における一般化を分析する。
• 濃度不等式を含む統計的学習理論の標準的手法を用い、データおよびモデル挙動に関する弱い仮定の下で境界を導出する。
• 標準的なデータセットを用いた実証的評価を通じて理論的予測を検証し、理論的境界と観察された一般化パフォーマンスを比較する。

実験結果

リサーチクエスチョン

• RQ1 局所的解釈可能性は、テスト時のモデル精度の一般化にどのように影響するか？
• RQ2 有限の訓練サンプルから得られる局所的説明の一般化を理論的に境界づけることは可能か？
• RQ3 局所近似の整合性と、モデル予測および説明の両方の一般化の関係は何か？
• RQ4 提案された理論的境界は、実用的な局所的説明設定における実証的観察と整合するか？

主な発見

• より高い局所的解釈可能性を示すモデルでは、一般化境界が改善されることを示し、局所的に解釈可能なモデルがより良い一般化を示すことを示している。
• 説明の一般化に関する新しい理論的境界が導出され、弱い条件下でも有限サンプルからの局所的説明が信頼性を持って一般化可能であることを示している。
• 実証的検証により、理論的境界と観察されたパフォーマンスの相関が確認され、導出された一般化保証の実用的関連性が支持されている。
• 結果として、局所的解釈可能性が後処理の解釈ツールにとどまらず、機械学習モデルの一般化を向上させる正則化要因であることが示された。