[논문 리뷰] On Relating 'Why?' and 'Why Not?' Explanations

Alexey Ignatiev, Nina Narodytska외 2명|arXiv (Cornell University)|2020. 12. 21.

Explainable Artificial Intelligence (XAI)참고 문헌 61인용 수 11

한 줄 요약

이 논문은 기계학습에서 '왜?'(추론적) 및 '왜 아닐까?'(대조적) 설명 간 형식적 이원성을 확립하며, 추론적 설명이 대조적 설명의 최소 충족 집합임을 증명하고 반대로도 마찬가지로 성립함을 보여준다. 이는 불일치 이론 분석에서 유래한 최소 불만족 부분집합(MUS)과 최소 수정 부분집합(MCS) 기반의 기법을 활용하여, 둘 다 효율적으로 추출하고 열거하는 데에 새로운 알고리즘을 도입한다.

ABSTRACT

Explanations of Machine Learning (ML) models often address a 'Why?' question. Such explanations can be related with selecting feature-value pairs which are sufficient for the prediction. Recent work has investigated explanations that address a 'Why Not?' question, i.e. finding a change of feature values that guarantee a change of prediction. Given their goals, these two forms of explaining predictions of ML models appear to be mostly unrelated. However, this paper demonstrates otherwise, and establishes a rigorous formal relationship between 'Why?' and 'Why Not?' explanations. Concretely, the paper proves that, for any given instance, 'Why?' explanations are minimal hitting sets of 'Why Not?' explanations and vice-versa. Furthermore, the paper devises novel algorithms for extracting and enumerating both forms of explanations.

연구 동기 및 목표

• 기계학습 모델에서 '왜?'(추론적) 설명과 '왜 아닐까?'(대조적) 설명 간 형식적 관계를 규명하는 것.
• 추론적 설명과 대조적 설명 간 이원성을 최소 충족 집합 관계를 통해 증명하고, Reiter의 불일치 이론 연구를 확장하는 것.
• 최소 불만족 부분집합(MUS)과 최소 수정 부분집합(MCS) 간의 이원성을 기반으로, 추론적 및 대조적 설명을 효율적이고 엄밀하게 추출하고 열거하는 알고리즘을 개발하는 것.
• 실제 데이터셋을 사용하여 XGBoost 모델에서 설명의 완전한 열거의 가능성과 확장성을 평가하는 것.
• SHAP 기능 중요도와 대조적 설명 간 상관관계를 평가하여, 기존 설명 가능 도구와 실용적으로 일치하는지를 확인하는 것.

제안 방법

• 기계학습 모델을 일阶논리(FOL) 또는 동치 표현(예: 정수프로그래밍)으로 형식화하여, 인스턴스를 리터럴의 집합으로 간주하는 것.
• 최소 불만족 부분집합(MUS)과 최소 수정 부분집합(MCS) 간의 이원성을 활용하여, 추론적 설명을 대조적 설명의 최소 충족 집합으로, 반대로도 마찬가지로 모델링하는 것.
• 이원성 기반 알고리즘(알고리즘 2)을 사용하여 모든 추론적 설명(AXps)을 완전히 열거하며, 동시에 이중성에 의해 모든 대조적 설명(CXps)도 동시에 계산하는 것.
• XGBoost 모델에 대한 오라클 쿼리를 수행할 수 있도록 [47] 기반 프로토타입을 구현하여, 증분 SAT 해법 또는 제약 추론을 통한 확장 가능한 설명 열거를 가능하게 하는 것.
• 나무 앙상블 모델을 XGBoost로 훈련시킨 6개의 공개 데이터셋(Adult, Lending, Recidivism 등)에 대해, 최소 불만족 부분집합과 최소 수정 부분집합 간의 이원성을 기반으로 모든 설명을 추출하는 방법을 적용하는 것.
• CXps와 SHAP 기능 간 상관관계를 측정하기 위해, 상위 가중치를 가진 SHAP 픽셀과 CXp 기능 간의 겹침을 계산하고, Jaccard 유사도 지표 corr = |S ∩ T| / |S| 를 사용하는 것.

실험 결과

연구 질문

• RQ1 기계학습 모델에서 추론적('왜?') 설명과 대조적('왜 아닐까?') 설명 간 형식적 관계는 무엇인가?
• RQ2 최소 불만족 부분집합(MUS)과 최소 수정 부분집합(MCS) 간의 이원성을 활용하여, 추론적 및 대조적 설명을 효율적으로 계산할 수 있는가?
• RQ3 실제 모델 및 데이터셋에 대해 추론적 및 대조적 설명의 완전한 열거는 얼마나 확장 가능한가?
• RQ4 대조적 설명은 SHAP와 같은 널리 사용되는 설명 가능 도구의 기능 중요도와 어느 정도 상관관계가 있는가?
• RQ5 제안된 방법이 엄밀하고 모델 기반 프레임워크에서 추론적 설명을 열거하는 첫 번째 알고리즘을 제공할 수 있는가?

주요 결과

• 추론적 설명은 대조적 설명의 최소 충족 집합이며, 반대로도 마찬가지로 성립함을 보여주며, 이는 불일치 이론 분석에서 유래한 MUS-MCS 이원성에 기반한 형식적 이원성을 확립한다.
• 이원성 기반 알고리즘이 6개의 벤치마크 데이터셋의 모든 인스턴스에 대해 모든 추론적 및 대조적 설명을 성공적으로 열거하였으며, 평균 계산 시간은 각 인스턴스당 몇 분의 1초에서 몇 초 사이였다.
• 평균적으로 각 인스턴스당 수십 번에서 수백 번의 오라클 호출이 필요했으며, 일부 경우는 수천 번까지 도달했으며, 이는 실용적 가능성을 보여준다.
• 대조적 설명은 일반적으로 추론적 설명보다 더 많았지만, 크기가 훨씬 작았으며, 평균 2.3~3.6개의 기능을 포함하여 인간 사용자에게 더 해석 가능했다.
• SHAP 상위 기능과 대조적 설명의 기능 간 강한 상관관계(correlation = 0.4 평균)를 관찰하여, 기존의 설명 가능 방법과의 일치를 시사한다.
• 많은 경우에서 대조적 설명의 크기가 1이었으며, 이는 단일 기능 변경으로도 예측가능성이 변화할 수 있음을 보여주며, 이는 모델 설명에 있어 그 유용성을 뒷받침한다.