[論文レビュー] Counterfactual Explanations without Opening the Black Box: Automated Decisions and the GDPR

Sandra Wachter, Brent Mittelstadt+1 more|arXiv (Cornell University)|Nov 1, 2017

Privacy-Preserving Technologies in Data被引用数 162

ひとこと要約

本論文は、データ管理者がGDPRの下で影響を受けた個人に対して、有用な反事実説明を提供できると主張する。これはアルゴリズム決定システムの全内部仕組みを公開することなく、異議申し立てや望ましい結果を得るための実用的な指針に焦点を当てる。

ABSTRACT

There has been much discussion of the right to explanation in the EU General Data Protection Regulation, and its existence, merits, and disadvantages. Implementing a right to explanation that opens the black box of algorithmic decision-making faces major legal and technical barriers. Explaining the functionality of complex algorithmic decision-making systems and their rationale in specific cases is a technically challenging problem. Some explanations may offer little meaningful information to data subjects, raising questions around their value. Explanations of automated decisions need not hinge on the general public understanding how algorithmic systems function. Even though such interpretability is of great importance and should be pursued, explanations can, in principle, be offered without opening the black box. Looking at explanations as a means to help a data subject act rather than merely understand, one could gauge the scope and content of explanations according to the specific goal or action they are intended to support. From the perspective of individuals affected by automated decision-making, we propose three aims for explanations: (1) to inform and help the individual understand why a particular decision was reached, (2) to provide grounds to contest the decision if the outcome is undesired, and (3) to understand what would need to change in order to receive a desired result in the future, based on the current decision-making model. We assess how each of these goals finds support in the GDPR. We suggest data controllers should offer a particular type of explanation, unconditional counterfactual explanations, to support these three aims. These counterfactual explanations describe the smallest change to the world that can be made to obtain a desirable outcome, or to arrive at the closest possible world, without needing to explain the internal logic of the system.

研究の動機と目的

• GDPRの下で説明可能性の必要性を喚起し、アルゴリズム決定のブラックボックスを開く際の障壁を特定する。
• 無条件の反事実説明を実用的な説明の形式として提案する。
• 個人の視点からの説明の3つの目的を定義する：理解、異議、そして結果の変更。

提案手法

• 内部モデルの詳細を明かすことなく、説明がデータ主体をどのように支援できるかを分析する。
• 望ましい結果を達成するための最小限の世界の変化を説明する無条件の反事実説明を主張する。
• 説明の目的をGDPRの規定にマッピングし、各目的に対する法的支援を評価する。

実験結果

リサーチクエスチョン

• RQ1 データ主体が内部モデルの論理を開示せずに、なぜその決定が下されたのかを知ることができるか？
• RQ2 GDPRの下で反事実説明は、異議申立ての権利とより望ましい結果を得る権利を支持するか？
• RQ3 個人を力づけつつ、企業の所有権システムを保護するために、どのタイプの説明がGDPRに最も適合するか？

主な発見

• 反事実説明は、ブラックボックスを公開することなく個人に情報を提供できる。
• 無条件の反事実説明は、理解・異議申立て・望ましい結果を得るための救済を支援する。
• このような説明は、内部機構ではなく、必要な最小限の変更に焦点を当てることでGDPRの目的と整合する。