[논문 리뷰] FOCUS: Flexible Optimizable Counterfactual Explanations for Tree Ensembles

Ana Lučić, Harrie Oosterhuis외 2명|arXiv (Cornell University)|2019. 11. 27.

Explainable Artificial Intelligence (XAI)인용 수 5

한 줄 요약

FOCUS는 비미분 가능한 트리 앙상블 모델에서의 반사적 설명을 생성하기 위해, 비미분 가능한 트리 구조의 미분 가능한 근사치를 도입함으로써 기울기 기반 최적화 프레임워크를 제안한다. 이는 기존 방법보다 원본 인스턴스에 훨씬 더 가까운 반사적 예시를 생성하여, 모든 입력 인스턴스에 대해 효과적이고 효율적이며 신뢰할 수 있는 설명을 가능하게 한다.

ABSTRACT

Model interpretability has become an important problem in machine learning (ML) due to the increased effect that algorithmic decisions have on humans. Counterfactual explanations can help users understand not only why ML models make certain decisions, but also how these decisions can be changed. We frame the problem of finding counterfactual explanations as a gradient-based optimization task and extend previous work that could only be applied to differentiable models. In order to accommodate non-differentiable models such as tree ensembles, we use probabilistic model approximations in the optimization framework. We introduce an approximation technique that is effective for finding counterfactual explanations for predictions of the original model and show that our counterfactual examples are significantly closer to the original instances than those produced by other methods specifically designed for tree ensembles.

연구 동기 및 목표

• 비미분 가능한 트리 앙상블 모델에 대해 효과적이고 확장 가능한 반사적 설명 방법의 부족을 해결하기 위해.
• 랜덤 포레스트 및 기울기 부스팅 머신과 같은 모델에서 기울기 기반 최적화를 통한 반사적 예시 생성을 가능하게 하기 위해.
• 모델의 예측을 변경하면서 원본 입력에 대해 최소한의 변형을 가진 반사적 예시를 생성하기 위해.
• 히우리스틱 검색 기반 접근 방식의 한계를 극복하고, 데이터셋 내 모든 인스턴스에 대해 설명이 가능하도록 하기 위해.
• 실제 세계의 특성 트렌드와 사용자 맥락에 부합하는 실행 가능하고 해석 가능한 설명을 제공하기 위해.

제안 방법

• 각 트리 분할을 분할 임계값 중심의 시그모이드 함수로 근사하여, 모델의 미분 가능성을 확보한다.
• 앙상블의 최대값 연산자를 소프트맥스로 대체하여 전체 모델 출력의 미분 가능한 근사치를 만든다.
• 선택된 거리 척도 하에 변형을 최소화하는 조건에서 반사적 예시 생성을 기울기 기반 최적화 문제로 공식화한다.
• 미분 가능한 대체 모델을 사용해 기울기를 계산하고, 예측을 변경하기 위해 입력 특성을 최소한의 변화로 최적화한다.
• L2, L1 또는 사용자 정의 거리 함수와 같은 다양한 거리 함수를 지원하여 반사적 예시를 특정 용도에 맞게 조정할 수 있도록 한다.
• 생성된 반사적 예시가 현실적인 특성 범위 내에 있고 도메인 기대치와 일치하도록 하여 타당성을 확보한다.

실험 결과

연구 질문

• RQ1 비미분 가능한 트리 앙상블 모델에 기울기 기반 최적화를 효과적으로 적용할 수 있는가?
• RQ2 FOCUS가 생성한 반사적 예시는 기존 히우리스틱 방법 대비 원본 인스턴스에 대해 얼마나 가까운가?
• RQ3 FOCUS는 이전 방법이 일부 입력에서 실패하는 것과는 달리, 데이터셋 내 모든 인스턴스에 대해 유효한 반사적 설명을 생성할 수 있는가?
• RQ4 FOCUS에서 제안하는 특성 변경 사항은 도메인 지식과 실질적인 타당성과 얼마나 일치하는가?
• RQ5 FOCUS의 거리 함수의 탄력성은 반사적 설명의 실용성과 사용자 관련성 향상에 기여하는가?

주요 결과

• FOCUS는 세 가지 평가 지표에서 기준선 방법 대비 원본 입력 인스턴스에 훨씬 더 가까운 반사적 예시를 생성한다.
• 근접도 측면에서 뛰어난 성능을 보이며, 테스트된 모든 데이터셋과 모델 유형에서 일관되게 향상된 결과를 기록한다.
• 히우리스틱 방법이 일부 입력에서 실패하는 것과는 달리, FOCUS는 데이터셋 내 모든 인스턴스에 대해 유효한 반사적 설명을 성공적으로 생성한다.
• 반사적 예시의 제안 사항은 도메인 지식과 일치한다 — 예를 들어, NetFractionRevolvingBurden 감소 및 ExternalRiskEstimate 증가 — 이는 현실적이고 의미 있는 변화임을 시사한다.
• 미분 가능한 근사치는 효율적인 최적화를 가능하게 하여, FOCUS가 기존의 전수 검색 기반 기준선 대비 더 큰 트리 앙상블 모델로도 확장 가능하게 한다.
• 이 방법은 다양한 거리 함수를 지원하여, 사용자 요구와 제약 조건에 맞게 반사적 예시를 맞춤화할 수 있다.