[논문 리뷰] An exact counterfactual-example-based approach to tree-ensemble models interpretability

Pierre Blanchart|arXiv (Cornell University)|2021. 05. 31.

Explainable Artificial Intelligence (XAI)참고 문헌 26인용 수 6

한 줄 요약

이 논문은 XGBoost와 LightGBM와 같은 트리 앙상블 모델에 대한 역성질 설명을 정확하고 기하학적 방법으로 계산하기 위해, 의사결정 영역를 특징짓는 정확한 다차원 간격을 유도함으로써 기하학적 기반의 정확한 방법을 제안한다. 이 방법은 최적의 역성질 설명을 정확하게 계산할 수 있으며, 기능 부분집합 제약 조건을 지원하고 회귀 문제로 자연스럽게 확장되며, 고위험 응용 분야인 고장 감지와 같은 분야에서 이해 가능하고 실행 가능한 통찰을 제공한다.

ABSTRACT

Explaining the decisions of machine learning models is becoming a necessity in many areas where trust in ML models decision is key to their accreditation/adoption. The ability to explain models decisions also allows to provide diagnosis in addition to the model decision, which is highly valuable in scenarios such as fault detection. Unfortunately, high-performance models do not exhibit the necessary transparency to make their decisions fully understandable. And the black-boxes approaches, which are used to explain such model decisions, suffer from a lack of accuracy in tracing back the exact cause of a model decision regarding a given input. Indeed, they do not have the ability to explicitly describe the decision regions of the model around that input, which is necessary to determine what influences the model towards one decision or the other. We thus asked ourselves the question: is there a category of high-performance models among the ones currently used for which we could explicitly and exactly characterise the decision regions in the input feature space using a geometrical characterisation? Surprisingly we came out with a positive answer for any model that enters the category of tree ensemble models, which encompasses a wide range of high-performance models such as XGBoost, LightGBM, random forests ... We could derive an exact geometrical characterisation of their decision regions under the form of a collection of multidimensional intervals. This characterisation makes it straightforward to compute the optimal counterfactual (CF) example associated with a query point. We demonstrate several possibilities of the approach, such as computing the CF example based only on a subset of features. This allows to obtain more plausible explanations by adding prior knowledge about which variables the user can control. An adaptation to CF reasoning on regression problems is also envisaged.

연구 동기 및 목표

• 산업적 고장 감지 및 이상 감지에 사용되는 고성능 트리 앙상블 모델에 대한 정확하고 정확한 설명의 부족을 해결하기 위해.
• 입력 공간에서 다차원 간격을 사용하여 의사결정 영역를 명시적으로 특성화하는 방법을 개발하여 정확한 역성질 추론를 가능하게 하기 위해.
• 사용자 제어 기능 제약 조건과 부분 역성질을 지원하여 실제 시나리오에서 더 현실적이고 해석 가능한 설명을 향상시키기 위해.
• 외생 변수와 목표 값 간의 관계를 트리 앙상블를 통해 충실하게 모델링하여 이론적으로 회귀 문제로의 확장을 가능하게 하기 위해.

제안 방법

• 트리 앙상블 모델의 의사결정 영역를 입력 공간 내 다차원 간격(상자)의 집합으로 정확하게 기하학적으로 특성화한다.
• 특성 공간의 반복적 제약 조건을 교차 상자를 통해 유지함으로써, 차원 간 최대 커버리지와 상호배타성을 확보한다.
• 모델 예측을 변경하는 의사결정 영역 내 최소 입력 변형을 찾음으로써 최적의 역성질 예시를 구성한다.
• 비제어 가능한 기능의 값을 역성질 탐색 중 고정시켜 기능별 제약 조건을 적용함으로써 현실성과 타당성을 향상시킨다.
• 트리 레벨 간 부모-자식 관계를 활용한 특성 간격의 재귀적 분해를 통해 정확성과 완전성을 보장한다.
• 목표 간격에 예측을 이동시키는 역성질을 정의함으로써 회귀 문제로 확장하며, 모델의 신뢰성을 유지한다.

실험 결과

연구 질문

• RQ1 트리 앙상블 모델의 의사결정 영역는 입력 공간 내 기하학적 간격을 사용하여 정확하게 특성화될 수 있는가?
• RQ2 이 기하학적 특성화를 통해 최적의 역성질 예시를 정확하고 효율적으로 계산할 수 있는가?
• RQ3 사용자가 정의한 기능 제약 조건(예: 수정 불가능한 변수)을 고려한 역성질을 지원할 수 있는가?
• RQ4 목표 간격으로 예측을 이동시키는 역성질을 정의함으로써 이론적으로 이 방법을 회귀 문제에 적응시킬 수 있는가?
• RQ5 이 방법은 근사적인 블랙박스 역성질 방법보다 더 현실적이고 실행 가능한 설명을 제공하는가?

주요 결과

• 이 방법은 의사결정 영역를 서로 배타적이고 최대 크기의 다차원 간격으로 정확하게 기하학적으로 특성화한다.
• 모델의 예측을 변경하는 의사결정 영역 내 최소 변형을 찾음으로써 최적의 역성질 예시를 정확하게 계산한다.
• 비제어 가능한 기능의 값을 고정시킴으로써 제약 조건이 있는 역성질을 지원하여 더 현실적이고 실행 가능한 설명을 얻는다.
• 재귀적 분해와 간격 교차 성질을 통해 정확성과 완전성을 보장하는 공식적 증명이 이루어진다.
• 목표 간격에 예측을 이동시키는 역성질을 정의함으로써 이론적으로 회귀 문제로 자연스럽게 확장된다.
• 모델의 출력에 영향을 주는 의사결정 경계를 명시적으로 노출시킴으로써, 주어진 입력에 대해 완전한 진단적 통찰을 제공한다.