[論文レビュー] On The Reasons Behind Decisions

Adnan Darwiche, Auguste Hirth|arXiv (Cornell University)|Feb 21, 2020

Machine Learning and Data Classification被引用数 63

ひとこと要約

本論文は、Boolean分類器の決定を、十分で、完全で、必要な理由を用いて説明する理論と実用的なアルゴリズムを提案し、偏りと反事象を分析する。

ABSTRACT

Recent work has shown that some common machine learning classifiers can be compiled into Boolean circuits that have the same input-output behavior. We present a theory for unveiling the reasons behind the decisions made by Boolean classifiers and study some of its theoretical and practical implications. We define notions such as sufficient, necessary and complete reasons behind decisions, in addition to classifier and decision bias. We show how these notions can be used to evaluate counterfactual statements such as "a decision will stick even if ... because ... ." We present efficient algorithms for computing these notions, which are based on new advances on tractable Boolean circuits, and illustrate them using a case study.

研究の動機と目的

• 分類器の決定に対する十分な理由、完全な理由、必要な理由を定義する。
• 決定に関する bias および counterfactual の概念を導入する。
• これらの概念を、扱いやすいBoolean回路を用いて計算するアルゴリズムを提供する。
• 完全な理由が堅牢な説明と偏り検出を可能にすることを示す。

提案手法

• 入力特徴を変数とする命題論理式として分類器を表現する。
• prime implicants を用いて十分な理由を定義し、それらの論理和として complete reasons を導く。
• complete reasons を導入し、それらと十分な/必要な理由との関係を証明する。
• consensus と filtering 操作を組み合わせた Decision-DNNF (OBDD-compatible) 回路を用いて理由を計算する。
• 解釈可能な説明を得るための線形時間の consensus 構築と instance-based filtering を提案する。
• 大学入学分類器を用いた事例研究で手法を示す。

実験結果

リサーチクエスチョン

• RQ1 分類器の決定に対する情報価値のある理由を形式的に定義し、計算するにはどうすればよいか。
• RQ2 十分な理由、完全な理由、必要な理由はどのように関連し、説明を支えるか。
• RQ3 完全な理由を用いて決定および分類器の偏りを検出できるか。
• RQ4 扱いやすい回路表現が決定やcounterfactualについて効率的な推論をいかに可能にするか。

主な発見

• すべての決定には、少なくとも1つの十分な理由が prime implicant によって表される。
• decided complete reason はすべての十分な理由の論理和であり、すべての発動属性を一意に捉える。
• 十分な理由は、適用可能な場合に counterfactual を導出し、必要な理由を求めるのに用いられる。
• すべての十分な理由が protected features を含む場合、決定バイアスを検出できる。
• 個々の決定が偏っていなくても、complete reason から classifier bias を推定できる。
• 本手法は Decision-DNNF 回路上の consensus と filtering によって complete reasons を線形時間で計算可能にする。