[論文レビュー] Eliminating The Impossible, Whatever Remains Must Be True

Jinqiang Yu, Alexey Ignatiev+3 more|arXiv (Cornell University)|Jun 20, 2022

Explainable Artificial Intelligence (XAI)被引用数 7

ひとこと要約

本稿は、ブラックボックス機械学習モデルの形式的説明手法を提案する。背景知識を統合することで、不可能な反例を排除することで、より簡潔な「なぜ」の説明と、より正確な「なぜでない」の説明を生成する。ルール誘導を用いて背景知識を抽出し、説明をそれらと照合することで、解釈可能性と正しさを向上させるとともに、推論プロセスの監査可能性を可能にする。

ABSTRACT

The rise of AI methods to make predictions and decisions has led to a pressing need for more explainable artificial intelligence (XAI) methods. One common approach for XAI is to produce a post-hoc explanation, explaining why a black box ML model made a certain prediction. Formal approaches to post-hoc explanations provide succinct reasons for why a prediction was made, as well as why not another prediction was made. But these approaches assume that features are independent and uniformly distributed. While this means that "why" explanations are correct, they may be longer than required. It also means the "why not" explanations may be suspect as the counterexamples they rely on may not be meaningful. In this paper, we show how one can apply background knowledge to give more succinct "why" formal explanations, that are presumably easier to interpret by humans, and give more accurate "why not" explanations. In addition, we show how to use existing rule induction techniques to efficiently extract background information from a dataset, and also how to report which background information was used to make an explanation, allowing a human to examine it if they doubt the correctness of the explanation.

研究の動機と目的

• 特徴量が独立かつ一様分布に従うという仮定に基づく従来のポストホック説明法には、長すぎる、あるいは誤解を招く説明が生じるという限界があるため、それらを是正すること。
• 分野固有の背景知識を統合することで、「なぜ」の説明の簡潔さと解釈可能性を向上させること。
• 背景知識を用いて不自然な反例を排除することで、「なぜでない」の説明の正確性を高めること。
• ルール誘導技術を用いて、データセットから背景知識を自動で抽出する手法を開発すること。
• 説明の構築に使用した具体的な背景知識を報告することで、人間の監査官が説明を検証できるようにすること。

提案手法

• 「なぜでない」の説明における不可能反例をフィルタリングするために、背景知識を形式的説明生成に統合する。
• 訓練データから論理的制約および分野ルールを自動で抽出するためのルール誘導技術を用いる。
• 形式論理的推論を適用して、モデル予測のための最小で論理的に整合性のある説明を生成する。
• モデルの挙動と背景知識の共通部分に基づいて説明を構築し、妥当な代替案のみを考慮することを保証する。
• 各説明に使用した特定の背景ルールを報告することで、透明性と監査可能性を支援する。
• SATベースの推論を用いて、モデルと背景知識の両方の制約下で効率的に説明を計算する。

実験結果

リサーチクエスチョン

• RQ1 背景知識を効果的に活用することで、「なぜ」の説明の長さを短縮し、解釈可能性を向上させることができるか？
• RQ2 背景知識を統合することで、不自然な反例を排除できるため、「なぜでない」の説明がより正確で意味のあるものになるか？
• RQ3 データセットから背景知識を自動で抽出する方法は何か？
• RQ4 背景知識の統合が、形式的説明の信頼性をどの程度向上させるか？
• RQ5 説明の出典を、その導出に使用した具体的な背景ルールを報告することで、透明化できるか？

主な発見

• 背景知識の統合により、冗長または不可能な条件が排除され、「なぜ」の説明の長さが顕著に短縮された。
• 分野制約に反する反例を除外することで、「なぜでない」の説明がより正確になり、妥当性が向上した。
• ルール誘導技術により、データセットから意味のある背景知識を効果的に抽出でき、説明品質の向上に活用された。
• 使用したルールを明示的に報告するため、人間が説明を検証しやすく、解釈可能性が向上した。
• 事例研究を通じて、形式的正しさを維持しながら実用的使いやすさも向上させたことが実証された。
• 大規模なモデルやデータセットに対しても、効率的にスケーリングでき、実世界のAIシステムへの実用的導入が可能である。