[論文レビュー] Human Perceptions of Fairness in Algorithmic Decision Making: A Case Study of Criminal Risk Prediction

Nina Grgić-Hlača, Elissa M. Redmiles+2 more|arXiv (Cornell University)|Feb 26, 2018

Ethics and Social Impacts of AI参考文献 40被引用数 71

ひとこと要約

この論文は実証的に、COMPAS 犯罪リスクツールの特徴を使用する際に人々が公正さをどのように認識するかを研究し、高精度で潜在的特徴特性から公正判断を予測する8つの属性フレームワークを提案します。差別だけでなく多次元的な不公正懸念を明らかにし、回答者間の意見の一致が乏しいことがわかりました。

ABSTRACT

As algorithms are increasingly used to make important decisions that affect human lives, ranging from social benefit assignment to predicting risk of criminal recidivism, concerns have been raised about the fairness of algorithmic decision making. Most prior works on algorithmic fairness normatively prescribe how fair decisions ought to be made. In contrast, here, we descriptively survey users for how they perceive and reason about fairness in algorithmic decision making. A key contribution of this work is the framework we propose to understand why people perceive certain features as fair or unfair to be used in algorithms. Our framework identifies eight properties of features, such as relevance, volitionality and reliability, as latent considerations that inform people's moral judgments about the fairness of feature use in decision-making algorithms. We validate our framework through a series of scenario-based surveys with 576 people. We find that, based on a person's assessment of the eight latent properties of a feature in our exemplar scenario, we can accurately (> 85%) predict if the person will judge the use of the feature as fair. Our findings have important implications. At a high-level, we show that people's unfairness concerns are multi-dimensional and argue that future studies need to address unfairness concerns beyond discrimination. At a low-level, we find considerable disagreements in people's fairness judgments. We identify root causes of the disagreements, and note possible pathways to resolve them.

研究の動機と目的

• 人々がアルゴリズム的意思決定において個々の特徴を使用することの公正さをどのように判断するかを特定する。
• 公正性判断に影響を与える潜在的特徴特性のフレームワークを提案する。
• 犯罪リスク予測の文脈で大規模調査（n=576）を用いて実証的にフレームワークを検証する。
• 公正性判断の合意と意見の相違およびその原因を分析する。
• より公正なアルゴリズム決定システムを設計する際の示唆を論じる。

提案手法

• 8属性の潜在フレームワークを導入する（信頼性、関連性、プライバシー、意志性、結果を引き起こす因果、結果の悪循環を引き起こす因果、結果の格差を引き起こす因果、敏感な集団所属によって生じる因果）。
• COMPAS の入力を中心としたシナリオベースの調査を設計し、576名の参加者から公正性判断を収集する。
• 潜在的特徴と公正性判断の両方を評価するためにプレ調査と本調査を実施する。
• 一つの2つのデータセット（AMT と SSI）を使用して一般化可能性と合意を評価する。
• 潜在属性評価から公正性判断を予測するためにL2正則化付きロジスティック回帰を適用する。

実験結果

リサーチクエスチョン

• RQ1 決定シナリオで特徴を使用することが公正かどうかを判断する際に、人々が潜在的に用いる性質は何か。
• RQ2 これらの潜在的性質の評価から公正性判断を予測できるか。
• RQ3 異なる特徴や集団間で公正性判断の合意と意見の相違はどのように生じるか。
• RQ4 不公正の懸念は差別を超えて他の特徴特性にも及ぶか。
• RQ5 これらの知見が公正なアルゴリズム決定システムを設計する際にどのような含意を持つか。

主な発見

• 回答者の大多数は、COMPAS の特徴のうち約半数を保釈決定に使用することが公正でないと判断した。
• 8つの潜在的属性で公正性判断を十分に説明でき、うち6つが分析で統計的に有意な予測因子として示された。
• 潜在属性の評価からシンプルな分類器を用いて公正性判断を高い精度（>85%）で予測できる。
• 多くの公正性の配慮は差別とは無関係であり、追加の不公正懸念を浮き彫りにしている。
• 複数の特徴において公正性判断への相当な同意の欠如があり、主に潜在的性質の評価、特に因果性の評価の相違によって引き起こされている。
• 潜在属性で訓練された単純な分類器は公正性判断を正確に予測しうることを示唆し、潜在的性質は客観的に決定でき、倫理的推論は調査から引き出せる可能性がある。