[논문 리뷰] Counterfactual Plans under Distributional Ambiguity

Ngoc Bui, Duy Nguyen외 1명|arXiv (Cornell University)|2022. 01. 29.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 논문은 모델 파라미터의 분포 불확실성 하에서 타당성 확률을 제한하고 보정 최적화 방법을 통해 강건성을 향상시키기 위해 모멘트 기반 불확실성 정량화를 사용하는 강건한 프레임워크를 제안한다. 실험 결과, 시간적, 수정적, 지리공간적 이동이 발생하는 실제 데이터셋에서 타당성과 다양성이 크게 향상됨을 보여준다.

ABSTRACT

Counterfactual explanations are attracting significant attention due to the flourishing applications of machine learning models in consequential domains. A counterfactual plan consists of multiple possibilities to modify a given instance so that the model's prediction will be altered. As the predictive model can be updated subject to the future arrival of new data, a counterfactual plan may become ineffective or infeasible with respect to the future values of the model parameters. In this work, we study the counterfactual plans under model uncertainty, in which the distribution of the model parameters is partially prescribed using only the first- and second-moment information. First, we propose an uncertainty quantification tool to compute the lower and upper bounds of the probability of validity for any given counterfactual plan. We then provide corrective methods to adjust the counterfactual plan to improve the validity measure. The numerical experiments validate our bounds and demonstrate that our correction increases the robustness of the counterfactual plans in different real-world datasets.

연구 동기 및 목표

• 예측 모델이 새로운 데이터로 업데이트될 때 발생하는 반사적 계획의 취약성을 해결하기 위해.
• 모델 파라미터의 불확실성 하에서 첫 번째 및 두 번째 모멘트 정보만을 사용하여 반사적 계획 타당성의 확률 경계를 정량화하기 위해.
• 미래의 모델 이동에 대응하여 반사적 계획의 강건성을 향상시키는 보정 메커니즘을 개발하기 위해.
• 분포 불확실성 하에서 타당성, 근접성, 다양성을 동시에 균형 잡는 종합적인 최적화 프레임워크(COPA)를 설계하기 위해.
• 시간적, 수정적, 지리공간적 이동을 포함한 다양한 종류의 분포 이동이 발생하는 실제 데이터셋에서 접근법을 검증하기 위해.

제안 방법

• 다중 학습 실행에서의 모델 파라미터 실측 평균과 공분산을 기반으로 하는 분포 불확실성 집합을 사용하여 분류기 파라미터의 불확실성을 모델링한다.
• Gelbrich 반경과 모멘트 기반 분포 정보를 사용하여 계획 타당성 확률의 해석적 하한 및 상한을 유도한다.
• 불확실성 집합 내에서 가장 악성인 파라미터 이동을 고려한 강건화된 목적 함수를 최소화하여 반사적 계획을 보정하는 절차를 적용한다.
• COPA 프레임워크는 타당성, 근접성(마할라노비스 거리 기반), 다양성(행렬식 점프 프로세스 기반)을 동시에 균형 잡는 다목적 최적화 문제로 수식화된다.
• 학습 데이터의 50%에 기반해 1000개의 부트스트랩 분류기로부터 모델 파라미터의 평균과 공분산을 실측 추정한다.
• 모든 가능성이 있는 미래의 모델 파라미터 범위에서 반사적 계획이 타당성을 유지하도록 보장하기 위해 강건 최적화 기법을 적용한다.

실험 결과

연구 질문

• RQ1 미래의 모델 파라미터 불확실성 하에서 반사적 계획의 강건성을 어떻게 정량화할 수 있는가?
• RQ2 모델 파라미터가 분포적으로 모호할 때 주어진 반사적 계획의 타당성 확률의 범위는 무엇인가?
• RQ3 미래의 모델 업데이트에 대응하여 반사적 계획을 어떻게 보정하여 강건성을 향상시킬 수 있는가?
• RQ4 통합 최적화 프레임워크는 모델 불확실성 하에서 타당성, 근접성, 다양성을 효과적으로 균형 잡을 수 있는가?
• RQ5 기존 기준 대비 제안된 방법은 시간적, 수정적, 지리공간적 이동과 같은 다양한 유형의 데이터 이동에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 독일 신용, SBA, 학생 성취도 세 가지 실제 데이터셋에서 모두 100%의 실측 타당성을 달성하여 DiCE 및 MahalanobisCrr를 뛰어넘었다.
• 다양성 정규화 강도를 증가시킬수록(COPA에서 λ₂ = 10.0), 다양성은 0.380에 도달했고, 시간적 이동 데이터셋에서도 100%의 실측 타당성을 유지했다.
• 지리공간적 이동 데이터셋에서 COPA는 100%의 실측 타당성과 L* 다양성 지표 0.998을 달성하여 DiCE(0.549) 및 MahalanobisCrr(0.864)를 크게 앞섰다.
• 불확실성 정량화 도구를 통해 계산된 하한 타당성 경계가 실측 타당성과 밀접하게 일치하여 이론적 경계의 타당성을 검증했다.
• 보정 메커니즘이 시간적 및 지리공간적 이동과 같은 고도의 이동 상황에서 반사적 계획의 강건성을 높였다.
• DiCE 및 MahalanobisCrr와 같은 기준 방법이 성능 저하를 보일 때조차(COPA는 지리공간적 이동에서 40.8%로 떨어지는 DiCE 대비), COPA는 모든 설정에서 높은 타당성을 유지했다.