[論文レビュー] Measuring Non-Expert Comprehension of Machine Learning Fairness Metrics

Debjani Saha, Candice Schumann+4 more|arXiv (Cornell University)|Dec 17, 2019

Ethics and Social Impacts of AI被引用数 29

ひとこと要約

本研究では、オンラインアンケートを用いて、非専門家が機械学習の公平性指標（人口統計的同等性、同等機会、等化されたオッズ）をどれだけ理解しているかを調査した。教育水準が理解度を有意に予測する要因であることが判明し、特に偽陰性率を含む同等機会の定義は直感的ではなく理解が難しいことが明らかになった。また、理解度が低いと公平性ルールに対する否定的感情が弱くなる傾向があり、機械学習研究者と一般大衆の間でコミュニケーションのギャップがあることが示された。

ABSTRACT

Bias in machine learning has manifested injustice in several areas, such as medicine, hiring, and criminal justice. In response, computer scientists have developed myriad definitions of fairness to correct this bias in fielded algorithms. While some definitions are based on established legal and ethical norms, others are largely mathematical. It is unclear whether the general public agrees with these fairness definitions, and perhaps more importantly, whether they understand these definitions. We take initial steps toward bridging this gap between ML researchers and the public, by addressing the question: does a lay audience understand a basic definition of ML fairness? We develop a metric to measure comprehension of three such definitions--demographic parity, equal opportunity, and equalized odds. We evaluate this metric using an online survey, and investigate the relationship between comprehension and sentiment, demographics, and the definition itself.

研究の動機と目的

• 非専門家が平易な言語で説明された際、主要なML公平性定義を理解しているかどうかを評価すること。
• 非専門家における公平性指標の理解度に影響を与える要因（教育水準、人口統計的特徴、定義構造など）を特定すること。
• 理解度と公平性ルールに対する感情の関係を検討すること。
• 実際の採用文脈における3つの主要な公平性定義の理解しやすさを比較すること。

提案手法

• 非専門参加者を対象に、簡略化された採用シナリオを用いて公平性定義を説明する2回のオンラインアンケートを実施した。
• シナリオ固有の質問に対する正答に基づいて理解度スコアを開発した。
• 理解度スコアの妥当性と一貫性を評価するための統計的分析を実施した。
• 理解度との相関関係を検出するため、人口統計的データと感情反応を収集した。
• 参加者の一部を対象に質的インタビューを実施し、回答の背後にある推論を深く探った。
• 定義の複雑さや直感的でない要素（例：同等機会における偽陰性率）が理解度に与える影響を評価した。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 非技術的説明が提供された場合、非専門家は人口統計的同等性、同等機会、等化されたオッズの定義を理解できるか？
• RQ2 RQ2: 教育水準、人口統計的特徴、定義構造などの要因が、これらの公平性定義の理解度にどのように影響するか？
• RQ3 RQ3: 理解度は公平性ルールに対する感情とどのように関連しているか？
• RQ4 RQ4: 非専門家において、3つの公平性定義の理解しやすさはどのように比較できるか？

主な発見

• 教育水準が理解度を有意に予測する要因であり、教育水準が高いほど公平性定義の理解度が高くなる傾向が見られた。
• 偽陰性率を含む同等機会の定義は、人口統計的同等性や等化されたオッズよりも著しく理解が難しいことが判明した。
• 理解度が低い参加者は公平性ルールに対して否定的感情を示さなかったため、理解と公平性の認識の間には乖離があると考えられる。
• 理解度スコアは、人口統計的同等性の理解度を測るうえで一貫性と信頼性を示した。
• 本研究では、公平性定義の直感的でない側面（特に偽陰性率を含むもの）が、非専門家の理解を著しく妨げることが明らかになった。
• 機械学習研究者が提唱する公平性定義と一般大衆の理解の間には顕著なギャップがあり、実際のAI導入における明確なコミュニケーションの必要性が強調された。