[논문 리뷰] Optimal Counterfactual Explanations for Scorecard modelling

Guillermo Navas-Palencia|arXiv (Cornell University)|2021. 04. 17.

Forecasting Techniques and Applications참고 문헌 14인용 수 6

한 줄 요약

이 논문은 금융 분야의 스코어카드 모델을 위한 최적의 다양성 있는 역설명을 생성하기 위해 혼합정수프로그래밍 설정을 제안하며, 근접도, 희박성, 현실성 간 균형을 이루기 위해 다목적 최적화를 사용한다. 이 방법은 CP-SAT를 활용해 초 단위 내로 고품질의 역설명을 효율적으로 생성하며, 비가능성 증명과 실제 데이터셋에서 뛰어난 성능을 보인다.

ABSTRACT

Counterfactual explanations is one of the post-hoc methods used to provide explainability to machine learning models that have been attracting attention in recent years. Most examples in the literature, address the problem of generating post-hoc explanations for black-box machine learning models after the rejection of a loan application. In contrast, in this work, we investigate mathematical programming formulations for scorecard models, a type of interpretable model predominant within the banking industry for lending. The proposed mixed-integer programming formulations combine objective functions to ensure close, realistic and sparse counterfactuals using multi-objective optimization techniques for a binary, probability or continuous outcome. Moreover, we extend these formulations to generate multiple optimal counterfactuals simultaneously while guaranteeing diversity. Experiments on two real-world datasets confirm that the presented approach can generate optimal diverse counterfactuals addressing desired properties with assumable CPU times for practice use.

연구 동기 및 목표

• 은행 및 금융 분야에서 사용되는 해석 가능한 스코어카드 모델에 특화된 최적화 기반의 역설명 방법이 부족한 문제를 해결한다.
• 근접도, 희박성, 현실성, 다양성과 같은 핵심 성질을 만족하는 역설명을 생성하는 수학적 프로그래밍 설정을 개발한다.
• 다중목적 기준을 고려해 동시에 여러 개의 다양성 있는 역설명을 최적화하여 생성할 수 있도록 설정을 확장한다.
• 실제 적용에 적합한 실용적이고 확장 가능한 솔루션을 제공하며, 비가능성 증명 기능과 수용 가능한 계산 시간을 확보한다.

제안 방법

• 입력값과 역설명 간의 거리 함수를 최소화하는 혼합정수계획문제로 역설명 생성을 설정하며, 스코어카드 모델을 통해 원하는 결과를 달성하도록 제약 조건을 설정한다.
• 가중치 기반 또는 계층적 다목적 전략을 사용해 근접도, 희박성(특성 변경 수 제한 Θ를 통해), 그리고 가까움(특성 값 제약 조건을 통해)의 다중 목표를 통합한다.
• 특성 값(FV)과 특성 변경(F)에 대한 하드 제약 조건을 통해 여러 역설명 간의 다양성을 보장하며, 변수 수정의 서로 다른 조합을 확보한다.
• 최적화 문제를 효율적으로 해결하기 위해 CP-SAT 솔버를 활용하여 빠른 계산과 비가능성 탐지 기능을 제공한다.
• 스코어카드 결과를 이원형, 확률형 또는 연속형으로 모델링하며, MIP 솔버와 호환 가능한 단순선형 근사 기법을 사용한다.
• 비가능한 특성(예: 성별, 인종)을 수정에서 제외함으로써 실천 가능성을 확보함으로써 행동 가능 제약 조건을 통합한다.

실험 결과

연구 질문

• RQ1 혼합정수프로그래밍 설정을 통해 금융 분야의 스코어카드 모델에 대해 최적의 다양성 있는 현실적인 역설명을 생성할 수 있는가?
• RQ2 역설명 생성에서 근접도, 희박성, 가까움 목표 간의 상호 보완적 관계는 어떻게 나타나며, 이러한 목표를 가장 잘 균형 잡는 다목적 전략은 무엇인가?
• RQ3 실제 제약 조건 하에 동시에 여러 개의 다양성 있는 역설명을 생성할 경우의 계산 성능는 어떠한가?
• RQ4 이 방법은 비가능한 역설명 시나리오를 얼마나 효과적으로 탐지할 수 있으며, 비가능성에 영향을 주는 요소들은 무엇인가?

주요 결과

• CP-SAT를 사용해 단일 데이터 포인트에 대해 4초 이내로 최적의 다양성 있는 역설명을 생성하며, 다양한 설정에서도 결과가 안정적이다.
• 행동 가능한 특성과 다양성 제약 조건이 너무 엄격할 경우 비가능성이 0.8초 내로 신속히 탐지되며, 이는 비가능성 증명 기능의 정확성을 확인한다.
• K=5 및 Θ=5 조건에서 예측 확률이 0.502에서 0.526 사이로 일관되게 제어된 타당한 역설명을 생성하였다.
• 가까움 목표를 생략할 경우 더 큰 특성 값 이동이 발생함을 확인하여, 가까움 목표가 현실성과 실용성을 향상시킨다는 것을 입증한다.
• 성별, 인종과 같은 비행동 가능한 특성을 수정하지 않아 윤리적이고 실천 가능한 가능성을 확보하였다.
• 다양성 제약 조건(F + FV)이 포함된 가중치 기반 접근법을 통해 Adult-Income 데이터셋에 대해 네 개의 서로 다른 역설명을 생성하였으며, 각각 행동 가능한 특성에 대해 최소한의 현실적인 변경을 반영하였다.