[論文レビュー] A Normative approach to Attest Digital Discrimination

Natalia Criado, Xavier Ferrer Aran+1 more|arXiv (Cornell University)|Jul 14, 2020

Ethics and Social Impacts of AI参考文献 14被引用数 6

ひとこと要約

本稿では、形式化された差別の禁止規範を用いて機械学習システムにおけるデジタル差別の検出を支援する規範的フレームワークを提案する。このフレームワークは、保護属性と出力を分析することで、MLモデルがこれらの規範を侵害していないかをチェックするアルゴリズムを導入し、統計や機械学習の専門知識がなくても非技術的ユーザーが公平性を評価できるようにする。

ABSTRACT

Digital discrimination is a form of discrimination whereby users are automatically treated unfairly, unethically or just differently based on their personal data by a machine learning (ML) system. Examples of digital discrimination include low-income neighbourhood's targeted with high-interest loans or low credit scores, and women being undervalued by 21% in online marketing. Recently, different techniques and tools have been proposed to detect biases that may lead to digital discrimination. These tools often require technical expertise to be executed and for their results to be interpreted. To allow non-technical users to benefit from ML, simpler notions and concepts to represent and reason about digital discrimination are needed. In this paper, we use norms as an abstraction to represent different situations that may lead to digital discrimination. In particular, we formalise non-discrimination norms in the context of ML systems and propose an algorithm to check whether ML systems violate these norms.

研究の動機と目的

• 機械学習によって駆動される自動意思決定システムにおける増大するデジタル差別の課題に対処すること。
• 統計や機械学習の専門知識がなくても、MLシステムが潜在的に差別的であるかどうかを非技術的ユーザーが評価できるようにすること。
• 直接的、間接的、および暗黙的差別をML文脈内で規範的ルールとして形式化すること。
• 差別の禁止規範への準拠をチェックし、違反状況を同定する実用的なアルゴリズムを開発すること。
• MLシステムが差別的でないと見なされる前提条件を明示的に提示すること。

提案手法

• 入力特徴 𝒫（保護属性）、入力特徴 𝒫、出力特徴 O を用いてMLシステムを定義し、すべてのドメインが離散的であることを仮定する。
• 保護属性とモデル出力の間の論理的制約として差別の禁止規範を形式化し、明示的、暗黙的、間接的差別を区別する。
• ノードが属性、エッジが方程式を介した条件付き関係を符号化する有向グラフとして規範を表現する。
• カイ二乗検定などの統計的検定を用いて、保護属性と出力の独立性を評価し、潜在的な間接的差別を同定する。
• LIME などの後処理解釈技術を統合し、違反に対する反事実的説明を生成する。
• モデル出力を規範的制約と照合し、特定の仮定の下で違反を報告する検証アルゴリズムを設計する。

実験結果

リサーチクエスチョン

• RQ1 機械学習システムの文脈において、差別の禁止規範をどのように形式化すれば、自動的な公平性評価を支援できるか？
• RQ2 技術的専門知識が不要な状態で、直接的、間接的、暗黙的デジタル差別の検出を可能にするアルゴリズム的アプローチは何か？
• RQ3 規範的推論を用いて、MLシステムを差別的でないと宣言できる仮定はどのようなものか？
• RQ4 提案されたフレームワークを実世界の事例研究に適用することで、その実用性と有効性を検証できるか？
• RQ5 説明可能なAI技術は、MLシステムにおける規範違反の解釈可能性をどのように向上させられるか？

主な発見

• 提案された規範的フレームワークにより、非技術的ユーザーは複雑な公平性指標を理解しやすい規範に抽象化することで、デジタル差別についての推論が可能になる。
• 検証アルゴリズムは、保護属性と出力の統計的独立性を分析することで、MLシステムにおける差別の禁止規範の潜在的違反を効果的に同定する。
• この手法は、形式化された論理的および統計的制約を通じて、明示的、暗黙的、間接的差別を区別できる。
• 事例研究により、アルゴリズムが性別や収入層に顕著な差別の影響を示すパターンを検出できることを示した。
• LIME などの説明可能なAI技術との統合により、検出された違反に対する反事実的説明が生成され、透明性が向上した。
• このフレームワークは、MLシステムが差別的でないと見なされる明確な仮定を提示するため、監査可能性と規制適合性を支援する。