[논문 리뷰] Benchmarking Instance-Centric Counterfactual Algorithms for XAI: From White Box to Black Box

Catarina Moreira, Yu-Liang Chou외 4명|arXiv (Cornell University)|2022. 03. 04.

Explainable Artificial Intelligence (XAI)참고 문헌 79인용 수 4

한 줄 요약

이 논문은 다섯 가지 데이터셋을 사용하여 화이트박스(결정 트리), 회색박스(랜덤 포레스트), 블랙박스(신경망) 모델에서 모델에 종속되지 않는 네 가지 대체 기법—DiCE, WatcherCF, 프로토타입, GrowingSpheresCF—의 대체 설명 생성 성능을 평가한다. 연구 결과, 모델 유형은 대체 설명 품질에 유의미한 영향을 미치지 않으며, 근접성 전용 손실 함수는 현실성 없는 설명을 생성하고, 타당성은 신뢰할 수 있는 XAI 평가에 필수적임을 확인하였다. DiCE는 정량적 성능과 정성적 타당성의 최적 균형을 달성하였다.

ABSTRACT

This study investigates the impact of machine learning models on the generation of counterfactual explanations by conducting a benchmark evaluation over three different types of models: a decision tree (fully transparent, interpretable, white-box model), a random forest (semi-interpretable, grey-box model), and a neural network (fully opaque, black-box model). We tested the counterfactual generation process using four algorithms (DiCE, WatcherCF, prototype, and GrowingSpheresCF) in the literature in 25 different datasets. Our findings indicate that: (1) Different machine learning models have little impact on the generation of counterfactual explanations; (2) Counterfactual algorithms based uniquely on proximity loss functions are not actionable and will not provide meaningful explanations; (3) One cannot have meaningful evaluation results without guaranteeing plausibility in the counterfactual generation. Algorithms that do not consider plausibility in their internal mechanisms will lead to biased and unreliable conclusions if evaluated with the current state-of-the-art metrics; (4) A counterfactual inspection analysis is strongly recommended to ensure a robust examination of counterfactual explanations and the potential identification of biases.

연구 동기 및 목표

• 다양한 기계학습 모델—화이트박스(결정 트리), 회색박스(랜덤 포레스트), 블랙박스(신경망)—이 대체 설명 생성에 미치는 영향을 평가하는 것.
• 표준화된 정량적 지표를 사용하여 최신 대체 알고리즘 네 가지(DiCE, WatcherCF, 프로토타입, GrowingSpheresCF)의 성능을 평가하는 것.
• 근접성과 희박성 같은 기존 평가 지표가 타당성 고려 없이 대체 설명 품질을 평가하는 데 충분한지 여부를 조사하는 것.
• 결정 경로 검사와 같은 정성적 분석을 통해 현실성 없거나 편향된 대체 설명을 탐지할 수 있음을 보여주는 것.
• XAI 연구에서 정량적 지표와 정성적 타당성 검증을 모두 통합하는 표준화되고 강력한 평가 프레임워크를 제안하는 것.

제안 방법

• COMPAS, Adult, German, Diabetes, Breast Cancer 등 다섯 가지 데이터셋에서 벤치마크 평가를 수행하였다.
• 결정 트리(화이트박스), 랜덤 포레스트(회색박스), 신경망(블랙박스)의 세 가지 모델 유형에 대해 네 가지 대체 설명 생성 알고리즘—DiCE, WatcherCF, 프로토타입, GrowingSpheresCF—를 적용하였다.
• 표준 정량적 지표인 근접성(L2 거리), 희박성(L0 노름), 그리고 신뢰도를 사용하여 대체 설명을 평가하였다.
• 기반 모델의 결정 경로를 추적하여 타당성과 도메인 지식과의 일치성을 평가하기 위해 정성적 분석을 수행하였다.
• 대체 설명 예시를 생성하고 시각화하여 최적화 기반 접근 방식의 결함을 드러내었으며, 예를 들어 나이가 34세에서 81세로 증가하는 등의 비현실적인 변화를 발견하였다.
• 결정 경로와 대체 설명을 재현할 수 있도록 공개 벤치마크 리포지터리를 제공하여 투명성과 재현 가능성을 확보하였다.

실험 결과

연구 질문

• RQ1 기계학습 모델의 선택(화이트박스, 회색박스, 블랙박스)이 생성된 대체 설명의 품질에 유의미한 영향을 미치는가?
• RQ2 근접성과 희박성과 같은 표준 정량적 지표가 대체 설명 품질을 얼마나 잘 예측하는가?
• RQ3 내부 메커니즘이 타당성 제약 조건을 강제하지 않는 대체 알고리즘이 성능을 어떻게 보이는가?
• RQ4 결정 경로의 정성적 검토는 정량적 지표가 놓친 편향이나 비현실적인 설명을 드러내는 데 유용한가?
• RQ5 XAI 대체 설명 연구에서 정량적 지표와 정성적 타당성 검증을 모두 통합하는 표준화된 평가 프레임워크가 필요한가?

주요 결과

• 기반 기계학습 모델의 유형—화이트박스(결정 트리), 회색박스(랜덤 포레스트), 블랙박스(신경망)—은 대체 설명 생성에 유의미한 영향을 미치지 않았다.
• 근접성 손실 함수에만 의존하는 대체 알고리즘, 예를 들어 WatcherCF는 극단적인 변화를 포함해 매우 비현실적인 대체 설명을 생성하였으며, 나이가 34세에서 81세로 증가하고 체질량지수(BMI)가 34에서 67로 증가하는 등의 사례를 포함하였다.
• GrowingSpheresCF는 L0 및 L2 노름 최적화 덕분에 근접성과 희박성 측면에서 가장 높은 정량적 점수를 기록했지만, 타당성을 확보하지 못해 편향되고 의미 없는 설명을 생성하였다.
• DiCE는 고려된 불변 특성 처리 방식 덕분에 뛰어난 정량적 성능과 높은 타당성을 동시에 확보하여 가장 균형 잡힌 전반적 성능을 기록하였다.
• WatcherCF는 가장 열 劣한 성능을 보였으며, 입력 점으로부터의 거리 최적화에만 의존하다 보니, 결정 트리의 첫 번째 분할 노드를 따르는 경우조차도 현실적인 결정 경로에서 크게 벗어난 대체 설명을 생성하였다.
• 본 연구는 현재 평가 지표만으로는 부족하며, 타당성 검증이 반드시 필요하다고 결론 내리며, 결정 경로의 정성적 분석이 편향을 탐지하고 신뢰할 수 있는 대체 설명을 보장하는 데 필수적이라고 강조한다.