[논문 리뷰] On The Reasons Behind Decisions

Adnan Darwiche, Auguste Hirth|arXiv (Cornell University)|2020. 02. 21.

Machine Learning and Data Classification인용 수 63

한 줄 요약

논문은 충분하고 완전하며 필요한 이유를 사용해 Boolean 분류기의 의사결정을 설명하는 이론과 실용적인 알고리즘을 제시하고 편향 및 반사실을 분석한다.

ABSTRACT

Recent work has shown that some common machine learning classifiers can be compiled into Boolean circuits that have the same input-output behavior. We present a theory for unveiling the reasons behind the decisions made by Boolean classifiers and study some of its theoretical and practical implications. We define notions such as sufficient, necessary and complete reasons behind decisions, in addition to classifier and decision bias. We show how these notions can be used to evaluate counterfactual statements such as "a decision will stick even if ... because ... ." We present efficient algorithms for computing these notions, which are based on new advances on tractable Boolean circuits, and illustrate them using a case study.

연구 동기 및 목표

• 분류기 결정 뒤의 충분한 이유, 완전한 이유, 필요한 이유를 정의한다.
• 결정에 대한 편향 및 반사실(counterfactual) 개념을 도입한다.
• 트랙트레이블(Boolean) 회로를 이용해 이러한 개념을 계산하는 알고리즘을 제공한다.
• 완전한 이유가 강력한 설명과 편향 탐지를 가능하게 하는 것을 보여준다.

제안 방법

• 입력 특징을 변수로 하는 propositional formulas로 분류기를 표현한다.
• prime implicants를 사용하여 충분한 이유를 정의하고, 그들의 disjunction으로 완전한 이유를 유도한다.
• 완전한 이유를 도입하고 그것이 충분한/필요한 이유와의 관계를 증명한다.
• Consensus 및 filtering 연산과 결합된 Decision-DNNF (OBDD-compatible) 회로를 통해 이유를 계산한다.
• 선형 시간 consensus 구성과 인스턴스 기반 필터링을 제안하여 tractable한 설명을 얻는다.
• 대학 입학 분류기를 주제로 한 사례 연구를 통해 방법을 시연한다.

실험 결과

연구 질문

• RQ1 How can we formally define and compute informative reasons behind a classifier's decision?
• RQ2 How do sufficient, complete, and necessary reasons relate and support explanations?
• RQ3 Can complete reasons be used to detect decision and classifier bias?
• RQ4 How can tractable circuit representations enable efficient reasoning about decisions and counterfactuals?

주요 결과

• Every decision has at least one sufficient reason represented by a prime implicant.
• The complete reason for a decision is the disjunction of all sufficient reasons and uniquely captures all triggering properties.
• Sufficient reasons can be used to derive counterfactuals and necessary reasons when applicable.
• Decision bias can be detected when all sufficient reasons contain protected features.
• Classifier bias can be inferred from the complete reason even for unbiased individual decisions.
• The approach enables linear-time computation of complete reasons via consensus and filtering on Decision-DNNF circuits.