[논문 리뷰] Optimal Counterfactual Explanations in Tree Ensembles

Axel Parmentier, Thibaut Vidal|arXiv (Cornell University)|2021. 06. 11.

Adversarial Robustness in Machine Learning참고 문헌 29인용 수 8

한 줄 요약

이 논문은 결정 트리 앙상블에서 최적의, 실행 가능한, 타당한 역설적 설명을 생성하기 위해 혼합정수계획법 프레임워크를 제안한다. 이는 결정 경로를 로그 수준의 이진 변수로 모델링하고 타당성 확보를 위해 이sovlation 포레스트를 통합함으로써 이루어진다. 대규모 데이터셋에서도 최적의 해를 몇 초 내에 도출하며, 이전 히우리스틱 방법에 비해 안정성, 해석 가능성, 확장성 면에서 뛰어나다.

ABSTRACT

Counterfactual explanations are usually generated through heuristics that are sensitive to the search's initial conditions. The absence of guarantees of performance and robustness hinders trustworthiness. In this paper, we take a disciplined approach towards counterfactual explanations for tree ensembles. We advocate for a model-based search aiming at "optimal" explanations and propose efficient mixed-integer programming approaches. We show that isolation forests can be modeled within our framework to focus the search on plausible explanations with a low outlier score. We provide comprehensive coverage of additional constraints that model important objectives, heterogeneous data types, structural constraints on the feature space, along with resource and actionability restrictions. Our experimental analyses demonstrate that the proposed search approach requires a computational effort that is orders of magnitude smaller than previous mathematical programming algorithms. It scales up to large data sets and tree ensembles, where it provides, within seconds, systematic explanations grounded on well-defined models solved to optimality.

연구 동기 및 목표

• 결정 트리 앙상블에 대한 히우리스틱 기반 역설적 설명의 신뢰성과 강건성 부족 문제를 해결하기 위해.
• 기존 방법들이 초기 조건에 민감하고 해의 품질에 대해 보장이 없는 한계를 극복하기 위해.
• 실행 가능성, 타당성, 데이터 유형 이질성과 같은 도메인 특화 제약 조건을 통합한 확장 가능한, 수학적으로 탄탄한 프레임워크를 제공하기 위해.
• 대규모 데이터셋과 복잡한 모델에 적합한 계산 효율성을 확보하면서 체계적이고 최적의 역설적 설명 탐색을 가능하게 하기 위해.
• 특성 공간의 고밀도 영역에 집중함으로써 타당성을 강화하기 위해 최적화 모델에 이sovlation 포레스트를 통합하기 위해.

제안 방법

• 트리의 정점 수에 상대적으로 로그 수준의 이진 변수를 사용하여 결정 트리 앙상블의 결정 경로를 모델링함으로써, 이전 방법들에 비해 모델 크기를 극적으로 감소시킴.
• 최적성과 안정성을 보장하기 위해 역설적 설명 탐색을 혼합정수선형/정수제곱계획문제(MILP/MIQP)로 공식화함.
• 이sovlation 포레스트의 이상치 점수를 제약 조건으로 통합하여, 역설적 설명이 낮은 이상치 점수, 높은 타당성 영역에 국한되도록 제어함.
• 수치형, 순서형, 이진형, 범주형 데이터 유형을 포함한 이질적 데이터 유형과 기울기 분할을 위해 특화된 제약 조건 형식을 제공함.
• MILP 프레임워크 내에서 선형 및 논리적 제약 조건을 통해 실행 가능성 및 구조적 제약 조건을 통합함.
• 최신 MIP 솔버를 활용하여 50개 이상의 특성과 수백 개의 트리를 가진 데이터셋에서 1초 이내로 해를 도출함.

실험 결과

연구 질문

• RQ1 수학적 프로그래밍을 통해 결정 트리 앙상블에 대해 해의 품질과 안정성에 대해 증명 가능한 보장을 가진 최적의 역설적 설명을 생성할 수 있는가?
• RQ2 분포 가정에 의존하지 않고 타당성을 체계적으로 강제할 수 있는 방법은 무엇인가?
• RQ3 이sovlation 포레스트를 통합함으로써 역설적 설명의 타당성이 얼마나 향상되고, 계산 효율성은 유지되는가?
• RQ4 제안된 프레임워크는 대규모 데이터셋과 복잡한 결정 트리 앙상블에 대해 확장 가능하며 실세계 구현에 실용적인가?
• RQ5 실행 가능성 및 특성 공간의 구조와 같은 추가 제약 조건이 역설적 설명의 성능과 품질에 미치는 영향은 어떠한가?

주요 결과

• 제안된 OCEAN 프레임워크는 50개 이상의 특성과 수백 개의 트리를 가진 데이터셋에서 평균 2초 이내로 최적의 역설적 설명을 생성한다.
• 이sovlation 포레스트 제약 조건을 통합함으로써 타당한 역설적 설명의 비율이 제약 없이 평균 35%에서 모든 테스트 데이터셋에서 100%로 증가한다.
• 이sovlation 포레스트 제약 조건을 추가할 경우 계산 비용은 약 두 배로 증가하지만, 타당성 향상의 효과를 고려하면 여전히 수용 가능한 수준이다.
• 이sovlation 포레스트 제약 조건을 사용할 경우 8개 데이터셋 중 6개에서 타당성 비율이 100%에 도달했으며, 제약 없이 사용할 경우 25~55%에 그친다.
• 프레임워크는 효율적으로 확장 가능하다: 희소 제약 행렬과 로그 수준의 변수 수 덕분에 특성 수가 증가함에 따라 해의 계산 시간이 안정적으로 유지된다.
• 이전의 수학적 프로그래밍 방법에 비해 이진 변수의 수를 지수적으로 감소시킴으로써, 대규모 트리 앙상블에 대한 확장성을 확보한다.