[논문 리뷰] Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR

Sandra Wachter, Brent Mittelstadt외 1명|arXiv (Cornell University)|2017. 11. 01.

Privacy-Preserving Technologies in Data인용 수 162

한 줄 요약

본 논문은 데이터 컨트롤러가 GDPR하에 피험자에게 전체 알고리즘 의사결정 시스템의 내부 작동을 드러내지 않고도 유용한 반사실적 설명(counterfactual explanations)을 제공할 수 있으며, 도전하거나 원하는 결과를 달성하기 위한 실행 가능한 지침에 초점을 맞춘다고 주장한다.

ABSTRACT

There has been much discussion of the right to explanation in the EU General Data Protection Regulation, and its existence, merits, and disadvantages. Implementing a right to explanation that opens the black box of algorithmic decision-making faces major legal and technical barriers. Explaining the functionality of complex algorithmic decision-making systems and their rationale in specific cases is a technically challenging problem. Some explanations may offer little meaningful information to data subjects, raising questions around their value. Explanations of automated decisions need not hinge on the general public understanding how algorithmic systems function. Even though such interpretability is of great importance and should be pursued, explanations can, in principle, be offered without opening the black box. Looking at explanations as a means to help a data subject act rather than merely understand, one could gauge the scope and content of explanations according to the specific goal or action they are intended to support. From the perspective of individuals affected by automated decision-making, we propose three aims for explanations: (1) to inform and help the individual understand why a particular decision was reached, (2) to provide grounds to contest the decision if the outcome is undesired, and (3) to understand what would need to change in order to receive a desired result in the future, based on the current decision-making model. We assess how each of these goals finds support in the GDPR. We suggest data controllers should offer a particular type of explanation, unconditional counterfactual explanations, to support these three aims. These counterfactual explanations describe the smallest change to the world that can be made to obtain a desirable outcome, or to arrive at the closest possible world, without needing to explain the internal logic of the system.

연구 동기 및 목표

• GDPR 하에서 설명 가능성의 필요성을 고취하고 알고리즘 의사결정의 블랙박스를 여는 데 방해가 되는 장애물을 식별한다.
• 무조건적 반사실적 설명을 실용적 형태의 설명으로 제안한다.
• 개인의 관점에서 설명의 세 가지 목표를 정의한다: 이해, 이의제기, 결과 변경.

제안 방법

• 설명이 데이터 주체를 돕는 방식과 내부 모델 세부사항을 공개하지 않는 방법을 분석한다.
• 원하는 결과를 달성하기 위한 최소한의 세계 변화 를 설명하는 무조건적 반사실적 설명을 옹호한다.
• 설명 목표를 GDPR 조항에 매핑하고 각 목표에 대한 법적 지원을 평가한다.

실험 결과

연구 질문

• RQ1 반사실적 설명이 내부 모델 로직을 공개하지 않으면서도 왜 그 결정이 내려졌는지 데이터 주체에게 정보를 제공할 수 있는가?
• RQ2 반사실적 설명이 GDPR 하에서 이의를 제기하고 더 바람직한 결과를 얻을 권리를 뒷받침하는가?
• RQ3 지적 재산권을 보존하면서 개인을 권한 부여하기에 가장 적합한 설명 유형은 무엇인가?

주요 결과

• 반사실적 설명은 블랙박스를 노출하지 않으면서도 개인에게 정보를 제공할 수 있다.
• 무조건적 반사실적 설명은 이해, 이의제기 가능성, 원하는 결과를 얻기 위한 구제 수단을 뒷받침한다.
• 이러한 설명은 내부 메커니즘보다 필요한 최소한의 변경에 집중함으로써 GDPR의 목표와 일치한다.