[논문 리뷰] Delivering Inflated Explanations

Yacine Izza, Alexey Ignatiev외 2명|arXiv (Cornell University)|2023. 06. 27.

Explainable Artificial Intelligence (XAI)Computer Science참고 문헌 43인용 수 3

한 줄 요약

이 논문은 설명 가능한 AI에서 추론적 및 대조적 설명을 확장하기 위한 형식적이고 엄밀한 방법인 '확대된 설명'을 소개한다. 이 방법은 모델의 결정을 유지하는 최대 값 집합(예: 구간 또는 그룹)으로 정확한 특성 값들을 대체함으로써 설명을 확장한다. 이 접근법은 SAT 기반 인코딩과 기수 제약 조건을 활용해 효율적으로 확대된 설명을 계산하며, 성능 저하를 최소화하면서도 실용적인 확장성과 해석 가능성 향상을 입증한다.

ABSTRACT

In the quest for Explainable Artificial Intelligence (XAI) one of the questions that frequently arises given a decision made by an AI system is, ``why was the decision made in this way?'' Formal approaches to explainability build a formal model of the AI system and use this to reason about the properties of the system. Given a set of feature values for an instance to be explained, and a resulting decision, a formal abductive explanation is a set of features, such that if they take the given value will always lead to the same decision. This explanation is useful, it shows that only some features were used in making the final decision. But it is narrow, it only shows that if the selected features take their given values the decision is unchanged. It's possible that some features may change values and still lead to the same decision. In this paper we formally define inflated explanations which is a set of features, and for each feature of set of values (always including the value of the instance being explained), such that the decision will remain unchanged. Inflated explanations are more informative than abductive explanations since e.g they allow us to see if the exact value of a feature is important, or it could be any nearby value. Overall they allow us to better understand the role of each feature in the decision. We show that we can compute inflated explanations for not that much greater cost than abductive explanations, and that we can extend duality results for abductive explanations also to inflated explanations.

연구 동기 및 목표

• 표준 추론적 설명이 특성 값을 정확한 값으로 고정하여 값의 변동에 대한 내성에 대한 통찰을 제공하지 못함에 따라, 이들의 해석 가능성 부족 문제를 해결하기 위함.
• 모델의 예측을 유지하는 특성 값의 최대 집합인 확대된 설명을 형식화하고 계산함으로써, 인간이 특성 중요도와 내성에 대한 이해를 향상시키기 위함.
• 추론적 설명에서의 이중성 결과를 확대된 설명으로 확장하여, 확대된 추론적 설명과 대조적 설명 간의 최소 공격 집합 이중성 관계를 수립하기 위함.
• 확대된 설명이 실제 대규모 랜덤 포레스트 모델과 실제 데이터셋에서도 효율적으로 계산될 수 있음을 입증하기 위함.

제안 방법

• 각 특성에 대해 모델의 예측이 그대로 유지되는 최대 집합 $\mathbb{E}_i$로 확대된 추론적 설명을 형식화하며, $x_i \in \mathbb{E}_i$ 이면 예측이 변화하지 않도록 한다.
• CNF 인코딩과 PySAT 및 Glucose3를 통한 증분 SAT 해결을 활용하여 SAT 기반 알고리즘을 개발하여 확대된 설명을 계산한다.
• 범주형 및 순서형 특성에 대해 별도의 알고리즘 설계: 범주형 특성의 경우 최대 부분 집합을 계산하고, 순서형 특성의 경우 연속 값의 최대 구간을 계산한다.
• 두 단계 과정 적용: 먼저 표준 추론적 설명(AXp)을 계산한 후, 각 리터럴 $x_i = v_i$를 충분성을 유지하는 가장 큰 $\mathbb{E}_i$로 확장한다.
• 확대된 대조적 설명에 대해 두 가지 정의를 제안하고, 확대된 추론적 설명과 대조적 설명 간의 최소 공격 집합 이중성 관계를 증명한다.
• 랜덤 포레스트의 SAT 인코딩을 활용한 파이썬 프로토타입을 구현하며, AXp 계산과 확대 기능을 모두 지원한다.

실험 결과

연구 질문

• RQ1 정확한 특성 값 외에 범위나 값의 집합으로 확장된 추론적 설명이 모델의 예측을 유지하면서도 의미적으로 유의미하게 확장될 수 있는가?
• RQ2 정확성과 최소성의 형식적 보장을 유지하면서도 효율적으로 확대된 설명을 계산할 수 있는가?
• RQ3 기존 표준 추론적 설명과 대조적 설명 간에 알려진 최소 공격 집합 이중성이 확대된 설명으로까지 확장되는가?
• RQ4 특성 값의 변동에 대한 내성(예: 환자의 키가 1.75m에서 1.84m 사이이면 결정이 동일하게 유지됨)을 드러내어 해석 가능성에 얼마나 기여하는가?
• RQ5 실제 데이터셋과 대규모 랜덤 포레스트 모델에 대해 확대 과정의 확장성은 어느 정도인가?

주요 결과

• 38개 데이터셋 중 35개에서 설명 확대를 성공적으로 수행하였으며, 20개 데이터셋에서는 평균적으로 특성당 100~720개의 값으로 확장되었고, 13개는 13~99개로 확장되었다.
• 확대된 추론적 설명을 계산하는 데 평균 7.11초가 소요되었으며, 최소 0.02초에서 최대 144.48초까지 범위를 보이며 실용적인 확장성 확보.
• большин수 데이터셋에서 특성가 거의 전체 도메인으로 확장되었으며, 일부 특성의 경우 원래 도메인 크기의 거의 전체에 도달했다.
• 프로토타입은 대규모 랜덤 포레스트 모델(최대 64개 특성, 5,000개 이상의 인스턴스)에서도 확대된 설명을 효율적으로 계산할 수 있음을 입증했다.
• 이론적 이중성 결과가 확인되었으며, 확대된 추론적 설명과 대조적 설명 간의 최소 공격 집합 이중성이 성립함을 입증하여 형식적 프레임워크의 강건성 검증.
• 특성의 내성(예: 환자의 키가 1.75m에서 1.84m 사이이면 충분함)을 효과적으로 드러내어 정확한 값이 아닌 범위로 결정의 기준을 제공함.