[논문 리뷰] Towards Realistic Individual Recourse and Actionable Explanations in Black-Box Decision Making Systems

Shalmali Joshi, Oluwasanmi Koyejo외 3명|arXiv (Cornell University)|2019. 07. 22.

Scientific Computing and Data Management참고 문헌 18인용 수 95

한 줄 요약

REVISE를 소개하는 그래디언트 기반 방법으로, 생성 모델을 통한 데이터 매니폴드(데이터 분포)를 활용하여 분류 및 인과적 의사결정 시스템에서 원치 않는 결과에 직면한 개인에게 현실적이고 최소한의 구제책을 제공하며, 불변 속성 처리와 모델 편향 진단까지 다룹니다.

ABSTRACT

Machine learning based decision making systems are increasingly affecting humans. An individual can suffer an undesirable outcome under such decision making systems (e.g. denied credit) irrespective of whether the decision is fair or accurate. Individual recourse pertains to the problem of providing an actionable set of changes a person can undertake in order to improve their outcome. We propose a recourse algorithm that models the underlying data distribution or manifold. We then provide a mechanism to generate the smallest set of changes that will improve an individual's outcome. This mechanism can be easily used to provide recourse for any differentiable machine learning based decision making system. Further, the resulting algorithm is shown to be applicable to both supervised classification and causal decision making systems. Our work attempts to fill gaps in existing fairness literature that have primarily focused on discovering and/or algorithmically enforcing fairness constraints on decision making systems. This work also provides an alternative approach to generating counterfactual explanations.

연구 동기 및 목표

• ML 의 결정에 의해 영향을 받는 개인을 위한 실행 가능하고 현실적인 구제책의 필요성을 동기 부여합니다.
• 데이터 분포를 모델링하여 데이터 매니폴드를 따라 최소하고 달성 가능한 변화를 생성하는 프레임워크를 제안합니다.
• pure 분류에서 인과 의사결정 모델로 구제책 생성을 확장합니다.
• immutable 변수를 조건화하고 조건부 인과 모델에 프레임워크를 적용하여 불변성 처리합니다.
• 훈련된 의사결정 시스템의 편향과 교란을 드러내는 진단 능력을 제공합니다.

제안 방법

• 생성 모델(VAEs, HI-VAE, BiGAN 스타일 인코더 등)을 사용하여 데이터 분포를 모델링하고 현실적인 샘플의 잠재 매니폴드를 얻습니다.
• 구제책을 데이터 매니폴드에서 결정이 바람직하지 않은 쪽에서 바람직한 쪽으로 반전시키는 근처의 포인트를 찾는 것으로 정의하고, 예측 손실과 매니폴드 근접성의 정규화된 목적을 결합한 최적화(식 1 / 식 2)를 수행합니다.
• 결정 경계를 넘으면서 목적을 최소화하고 잠재 공간에서의 기울기 기반 업데이트를 사용한 뒤 입력 공간으로 매핑하여 구제 특성을 얻습니다.
• 원래 인스턴스와의 근접성과 원하는 결과 달성을 균형 잡기 위한 tunable 정규화 가중치 lambda를 도입합니다(식 2).
• 손실을 인과-대리목적(식 3)으로 바꾸고 숨겨진 교란요인에 해당하는 잠재 공간을 탐색하여 인과 의사결정으로 접근하는 방식으로 이 접근법을 확장합니다; do-개입과 다양한 처리 하에서의 구제책을 논의합니다.
• 불변 변수를 조건화하고 조건부 CEVAE와 같은 조건부 인과 모델을 제안하여 제시된 변경이 불변성을 존중하도록 합니다.

실험 결과

연구 질문

• RQ1 데이터 매니폴드를 따라 구제책을 생성할 수 있어 현실적이고 실행 가능성이 보장될까요?
• RQ2 REVISE 프레임워크가 표준 분류 시스템과 인과 의사결정 시스템 모두에 대해 실행 가능한 구제책을 제공할 수 있을까요?
• RQ3 불변 속성이 구제책의 실행 가능성과 품질에 어떤 영향을 미치며 모델은 이를 어떻게 수용할 수 있을까요?
• RQ4 교란이나 편향된 데이터의 존재가 구제책의 품질과 성격에 어떤 영향을 미칠까요?
• RQ5 구제책이 흑박스 의사결정 시스템의 편향을 드러내는 진단 도구로도 작동할 수 있을까요?

주요 결과

• 제안된 REVISE 알고리즘은 데이터 매니폴드를 따라 결정 경계를 넘어서도 관측된 데이터 분포에 현실적으로 남아 있는 구제책을 생성할 수 있습니다.
• 구제책은 감독 학습 분류뿐 아니라 인과 모델에서도 시연되어 프레임워크의 일반성을 선보이며, 선형 분류기를 넘어 확장성을 강조합니다.
• 불변 속성을 바꾸지 않고도 구제책을 가능하게 하는 조건부 인과 모델을 통해 불변 속성의 변경 없이 구제책을 제공할 수 있습니다.
• 실험은 실제 데이터셋에서 데이터 편향과 숨겨진 교란이 구제책의 품질과 희소성에 영향을 미친다는 질적 및 진단적 증거를 보여줍니다.
• 구제책은 편향 속성(예: 성별 인식 예에서의 성별이나 머리색)과 상호작용하는 구제 경로를 보여줌으로써 흑박스 모델의 편향을 드러낼 수 있습니다.
• 프레임워크는 편향된 데이터와 편향되지 않은 데이터에서 학습된 분류기 비교 및 교란의 구제로 미치는 영향을 연구하기 위한 진단 도구를 제공합니다.