[論文レビュー] Local Rule-Based Explanations of Black Box Decision Systems

Riccardo Guidotti, Anna Monreale+4 more|arXiv (Cornell University)|May 28, 2018

Explainable Artificial Intelligence (XAI)参考文献 35被引用数 196

ひとこと要約

LOREは、遺伝的アルゴリズムを用いて合成的な近傍を作成し、局所的な決定木を学習させ、反事実ルールを含む意思決定規則を抽出することで、ブラックボックスの決定に対して局所的で解釈可能な説明を提供します。

ABSTRACT

The recent years have witnessed the rise of accurate but obscure decision systems which hide the logic of their internal decision processes to the users. The lack of explanations for the decisions of black box systems is a key ethical issue, and a limitation to the adoption of machine learning components in socially sensitive and safety-critical contexts. %Therefore, we need explanations that reveals the reasons why a predictor takes a certain decision. In this paper we focus on the problem of black box outcome explanation, i.e., explaining the reasons of the decision taken on a specific instance. We propose LORE, an agnostic method able to provide interpretable and faithful explanations. LORE first leans a local interpretable predictor on a synthetic neighborhood generated by a genetic algorithm. Then it derives from the logic of the local interpretable predictor a meaningful explanation consisting of: a decision rule, which explains the reasons of the decision; and a set of counterfactual rules, suggesting the changes in the instance's features that lead to a different outcome. Wide experiments show that LORE outperforms existing methods and baselines both in the quality of explanations and in the accuracy in mimicking the black box.

研究の動機と目的

• 不透明なモデルにおいて、特定のインスタンスの決定がなされた理由を明確にする。
• 単純な論理規則を用いて、意味があり人間に理解できる説明を提供する。
• 結果を反転させる最小の変更を示す反事実を提供する。
• ブラックボックスの内部には依存せず、モデル非依存の説明を維持する。

提案手法

• ターゲットインスタンス x の周囲に、ブラックボックスの出力を保持する Z_= と出力を反転させる Z_\\neq を生成する二つの適応度関数を持つ遺伝的アルゴリズムを用いて、バランスの取れた合成近傍を生成する。
• 近傍 Z 上で局所的に解釈可能な予測子 c（決定木）を訓練し、x の近傍でのブラックボックスの挙動を模倣させる。
• 局所的な説明を e = <r, Φ> の対として抽出する。ここで r は結果を説明する決定規則で、Φ はそれを反転させる最小限の反事実ルールの集合である。
• 局所木の中で代替の結果に至る経路を特定し、x に対する最小限の変更を選択して反事実を導出する。
• 距離ベースの混合型特徴量指標を用いて近傍生成を誘導し、x への近接性を保証する。
• c と整合し、x により満たされる解釈可能な論理規則の観点から説明を提供する。

実験結果

リサーチクエスチョン

• RQ1 LOREはブラックボックス予測モデルに対して特定のインスタンスの決定をどの程度効果的に説明できるか。
• RQ2 局所的に学習された決定木は、インスタンスの近傍でブラックボックスを正確に模倣するか。
• RQ3 生成された説明（規則と反事実）は、ユーザーにとって有意で実用的か。
• RQ4 LOREは説明の品質と模倣精度の点で既存の説明アプローチとどのように比較されるか。

主な発見

• LOREは説明の品質とブラックボックスの模倣精度の両方で、既存の手法やベースラインを上回る。
• 本手法は遺伝アルゴリズムを用いて、決定境界付近で密度の高い近傍を生成し、局所的な説明を改善する。
• 局所的な説明は、局所的な予測子と整合する規則と、最小限の反事実ルールの集合から成る。
• 反事実は局所決定木の経路から導出され、特徴量の変更に対して最小限になるよう設計されている。
• このアプローチは基礎となるブラックボックスモデルに依存せず、関係データや表形式データにも適用可能である。