[論文レビュー] Demographics and discussion influence views on algorithmic fairness

Emma Pierson|arXiv (Cornell University)|Dec 25, 2017

Ethics and Social Impacts of AI参考文献 8被引用数 25

ひとこと要約

本研究では、3つの母集団のアンケート調査と、コンピュータサイエンスの学生からの縦断的データを通じて、人種的・文化的要因と議論がアルゴリズムの公平性に関する見解に与える影響を調査している。研究では、性別が公平性に関する信念に顕著に予測する要因であることが判明しており、特にコース推薦アルゴリズムにおける性別の使用に関するものである。また、議論によって一部の意見が変化するが、性別による格差は解消されず、合意に至らないことが示された。

ABSTRACT

The field of algorithmic fairness has highlighted ethical questions which may not have purely technical answers. For example, different algorithmic fairness constraints are often impossible to satisfy simultaneously, and choosing between them requires value judgments about which people may disagree. Achieving consensus on algorithmic fairness will be difficult unless we understand why people disagree in the first place. Here we use a series of surveys to investigate how two factors affect disagreement: demographics and discussion. First, we study whether disagreement on algorithmic fairness questions is caused partially by differences in demographic backgrounds. This is a question of interest because computer science is demographically non-representative. If beliefs about algorithmic fairness correlate with demographics, and algorithm designers are demographically non-representative, decisions made about algorithmic fairness may not reflect the will of the population as a whole. We show, using surveys of three separate populations, that there are gender differences in beliefs about algorithmic fairness. For example, women are less likely to favor including gender as a feature in an algorithm which recommends courses to students if doing so would make female students less likely to be recommended science courses. Second, we investigate whether people's views on algorithmic fairness can be changed by discussion and show, using longitudinal surveys of students in two computer science classes, that they can.

研究の動機と目的

• 性的要因、特に性別がアルゴリズムの公平性に関する信念に影響を与えるかどうかを調査すること。
• 構造的な議論が、アルゴリズム意思決定における公平性に関する個人の見解を変える可能性があるかどうかを検討すること。
• 教育的介入の後も、公平性認識における人種的・文化的格差が継続するかどうかを評価すること。
• 議論の増加が、公平性のトレードオフに関する合意の形成を促進するかどうかを評価すること。
• 価値観に基づく対立を理解することで、より代表的で倫理的に整合性のあるアルゴリズムシステムの設計を支援すること。

提案手法

• 多様な母集団を対象に3回の別個アンケート調査を実施：ソーシャルメディアの参加者、Google消費者アンケート、学部レベルのコンピュータサイエンスの学生。
• アルゴリズムの公平性に関わる倫理的ジレンマを提示する標準化されたアンケート質問を用いた。例：コース推薦における性別の使用、犯罪リスク予測における人種の使用。
• 1時間の講義と議論の前後で、2つのコンピュータサイエンスの授業から縦断的データを収集した。
• アンケートサンプル全体で、特に性別による公平性判断の差を検出するための統計的分析を実施した。
• 講義前の後でのアンケート回答の変化を測定し、アルゴリズム使用の支持、透明性、機能の含める有無に関する見解の変化に注目した。
• 複数のサンプルで結果を再現することで、結果の頑健性と一般化可能性を確保した。

実験結果

リサーチクエスチョン

• RQ1 性的要因、特に性別が、アルゴリズムの公平性に関する信念に顕著に予測する要因となるか？
• RQ2 構造的な議論が、アルゴリズム意思決定における公平性に関する個人の見解をどの程度変えることができるか？
• RQ3 このテーマに関する教育的議論の影響を受けた後も、性別による公平性認識の格差は継続するか？
• RQ4 議論は公平性のトレードオフに関する合意を高めるのか、それとも意見の差は依然として多様性を保つのか？
• RQ5 公平性に関する信念における性的要因の格差は、アルゴリズム設計チームの代表性にどのように影響を及えるか？

主な発見

• 性別が関係するコース推薦アルゴリズムにおいて、女性は男性よりも、女性の学生が科学のコースに推薦されにくくなる場合に、性別を特徴量として使用することを支持する可能性が著しく低い。
• 1時間の講義と議論の後、コンピュータサイエンスの学生の90％以上が、アルゴリズムの公平性に関する見解に変化を認めたが、変化の大きさは一般的に小さかった。
• 議論の後も、公平性に関する信念における性別格差は一貫して縮小せず、あるいは消えないままであり、価値判断における持続的な差が示された。
• COMPASの公平性に関する質問では、議論後、回答のばらつきが拡大しており、合意への収束ではなく、見解の分岐が生じていることを示唆している。
• 議論の後、学生たちはアルゴリズムの透明性の支持が高まり、刑事司法分野でのアルゴリズムの使用に対する関心が高まったが、公平性の定義に関する見解は変化しにくかった。
• 3つの異なる母集団で、公平性に関する信念における性的要因の差が統計的に有意であった。これは、背景要因がアルゴリズムに関する倫理的判断に影響を及えることを示している。