[논문 리뷰] Decisions, Counterfactual Explanations and Strategic Behavior

Stratis Tsirtsis, Manuel Gomez-Rodriguez|arXiv (Cornell University)|2020. 02. 11.

Explainable Artificial Intelligence (XAI)참고 문헌 39인용 수 14

한 줄 요약

이 논문은 개인이 설명을 통해 스스로 개선하려는 전략적 환경에서 최적의 의사결정 정책과 반사적 설명을 설계하기 위한 프레임워크를 제안한다. 문제를 스택엘베르크 게임으로 모델링하고, NP-난이도와 상호하나의 성질을 증명하며, 근사 보장을 갖는 탐욕 알고리즘과 랜덤화 알고리즘을 사용하여 기준보다 높은 유용성을 확보한다. 합성 및 실질 대출 데이터에서의 실험을 통해 매트로이드 제약 조건을 통해 공정성을 향상시켰다.

ABSTRACT

As data-driven predictive models are increasingly used to inform decisions, it has been argued that decision makers should provide explanations that help individuals understand what would have to change for these decisions to be beneficial ones. However, there has been little discussion on the possibility that individuals may use the above counterfactual explanations to invest effort strategically and maximize their chances of receiving a beneficial decision. In this paper, our goal is to find policies and counterfactual explanations that are optimal in terms of utility in such a strategic setting. We first show that, given a pre-defined policy, the problem of finding the optimal set of counterfactual explanations is NP-hard. Then, we show that the corresponding objective is nondecreasing and satisfies submodularity and this allows a standard greedy algorithm to enjoy approximation guarantees. In addition, we further show that the problem of jointly finding both the optimal policy and set of counterfactual explanations reduces to maximizing a non-monotone submodular function. As a result, we can use a recent randomized algorithm to solve the problem, which also offers approximation guarantees. Finally, we demonstrate that, by incorporating a matroid constraint into the problem formulation, we can increase the diversity of the optimal set of counterfactual explanations and incentivize individuals across the whole spectrum of the population to self improve. Experiments on synthetic and real lending and credit card data illustrate our theoretical findings and show that the counterfactual explanations and decision policies found by our algorithms achieve higher utility than several competitive baselines.

연구 동기 및 목표

• 개인들이 설명에 전략적으로 반응하는 환경에서 유용성을 극대화하는 의사결정 정책과 반사적 설명을 설계하기 위해.
• 기존의 설명 가능 기계학습에서 예측이 아닌 의사결정을 위한 설명에 초점을 맞추어 격차를 메우기 위해.
• 반사적 설명을 활용해 자신들의 기회를 높이기 위해 행동하는 개인의 전략적 행동을 모델링하기 위해.
• 매트로이드 제약 조건을 통해 인구 집단의 하위군에 걸쳐 표현이 보장되도록 하여 설명의 공정성과 다양성을 확보하기 위해.
• 정책과 설명을 동시에 최적화하기 위한 이론적 근사 보장을 갖는 확장 가능한 알고리즘 개발하기 위해.

제안 방법

• 결정자가 정책과 반사적 설명을 사전에 확정하고, 개인들이 노력 투자를 통해 최적의 반응을 보이는 스택엘베르크 게임으로 문제를 수립한다.
• 고정된 정책 하에서 최적의 반사적 설명을 찾는 것은 NP-난이도이지만, 목적 함수는 비감소적이고 상호하나의 성질을 가지며, 이는 (1-1/e) 근사 보장을 갖는 탐욕 알고리즘을 가능하게 한다.
• 정책과 설명의 공동 최적화는 비단조화 상호하나 함수의 최대화 문제로 축소되며, 최근의 랜덤화 알고리즘을 통해 1/2 근사 보장을 갖는 해법이 가능하다.
• 매트로이드 제약 조건을 도입하여 연령 또는 인구 통계적 범주와 같은 인구 집단 간의 설명 다양성을 증진시킨다.
• 매트로이드 제약 조건 하에서 1/2 근사 보장을 달성하는 수정된 탐욕 알고리즘(Nemhauser 등, 1978)을 적용한다.
• 실제 대출 및 신용카드 데이터 세트를 활용하여, 유출 확률과 제약 조건의 변화에 따라 유용성, 공정성, 전략적 반응 효과를 평가한다.

실험 결과

연구 질문

• RQ1 전략적 개인 행동이 존재하는 상황에서 의사결정 정책과 반사적 설명을 공동으로 최적화하여 유용성을 극대화하는 방법은 무엇인가?
• RQ2 고정된 정책 하에서 최적의 반사적 설명을 찾는 데 있어 계산 복잡도와 근사 보장은 어떻게 되는가?
• RQ3 매트로이드 제약 조건을 사용하여 다양한, 공정한 반사적 설명을 생성하여 소수 집단에 유리하게 작용시킬 수 있는가?
• RQ4 제안된 알고리즘의 성능은 실세계 데이터 세트에서 유용성과 공정성 측면에서 경쟁 기준 대비 어떻게 비교되는가?
• RQ5 정보 泄漏(예: 개인이 설명을 조기에 학습함)는 의사결정 정책과 설명 세트의 유용성에 어떤 영향을 미치는가?

주요 결과

• 고정된 정책 하에서 최적의 반사적 설명을 찾는 문제는 NP-난이도이지만, 목적 함수는 비감소적이고 상호하나의 성질을 가지며, 이는 (1-1/e) 근사 보장을 갖는 탐욕 알고리즘을 가능하게 한다.
• 정책과 설명을 공동으로 최적화하는 것은 비단조화 상호하나 함수의 최대화 문제로 축소되며, 이는 최근의 랜덤화 알고리즘을 통해 1/2 근사 보장으로 해결 가능하다.
• 매트로이드 제약 조건을 통합함으로써 반사적 설명의 다양성이 크게 향상되어, 특히 연령대가 높은 집단을 포함한 모든 연령대의 개인이 실행 가능한, 자기 개선을 위한 피드백을 받을 수 있게 되었다.
• 합성 및 실질 신용 데이터에서의 실험 결과, 제안된 알고리즘이 경쟁 기준 대비 더 높은 유용성을 확보했으며, 높은 정보 유출 확률(예: $p_l = 0.5$) 조건에서도 동일하게 성능을 유지했다.
• 매트로이드 제약 조건 하에서는 연령대 간 결과 확률 향상 비율이 더 균형 잡혀 있어, 다양성 제약 조건이 소수 집단의 배제를 방지함을 입증했다.
• 이 프레임워크는 성공적으로 자기 개선을 유도한다: 개인들은 설명을 바탕으로 특징을 전략적으로 수정하여 더 나은 결과를 얻고, 정책의 유용성도 증가시킨다.