[論文レビュー] What If I Don't Like Any Of The Choices? The Limits of Preference Elicitation for Participatory Algorithm Design

Samantha Robertson, Niloufar Salehi|arXiv (Cornell University)|Jul 13, 2020

Ethics and Social Impacts of AI参考文献 21被引用数 9

ひとこと要約

この論文は、学生割り当てシステムにおける、好みに基づく参加型アルゴリズム設計を検証し、とりわけ弱い立場にある家族からの順位付けされた好みに依存することで、既存の不平等を強化し、民主的参加を制限すると主張する。サンフランシスコ都市教育委員会（SFUSD）のアルゴリズムを事例として用い、好みの集約が分配的正義を達成しないことを示し、単純な順位付けを越えて、より表現的で文脈に配慮した、かつ議論を伴う形のステークホルダー参加のあり方を求める。

ABSTRACT

Emerging methods for participatory algorithm design have proposed collecting and aggregating individual stakeholder preferences to create algorithmic systems that account for those stakeholders' values. Using algorithmic student assignment as a case study, we argue that optimizing for individual preference satisfaction in the distribution of limited resources may actually inhibit progress towards social and distributive justice. Individual preferences can be a useful signal but should be expanded to support more expressive and inclusive forms of democratic participation.

研究の動機と目的

• 学校割り当てのような高利害なシステムにおける公平なアルゴリズム設計を導くために、個人の好みだけが十分であるという仮定に挑戦すること。
• SFUSDの学生割り当てアルゴリズムのようなシステムにおける好みの集約が、隔離と疎外を助長する仕組みであることを明らかにすること。
• 順位付けされた好みは、参加の形として狭く、不平等で偏見を含むものであり、弱い立場の声を排除するものであると主張すること。
• 参加型アルゴリズム設計を、単なる好みの順位付けから、議論、パラメータへの入力、価値の表現といった形に拡大することを提言すること。
• アルゴリズム意思決定における包摂的で文脈に配慮した、力のバランスに配慮した参加を支援する民主的ガバナンスモデルを提唱すること。

提案手法

• 好みに基づくマッチングシステムの事例として、SFUSDの学生割り当てアルゴリズムを分析する。
• 学生の好みを最適化するための延期受け入れおよびトップ取引サイクル（top-trading cycles）アルゴリズムの使用を検討する。
• 複雑な価値観、ニーズ、構造的不平等を捉えることができない順位付けされた好みリストの限界を評価する。
• 代替の参加メカニズムの提案：学校要因の重み付け、システムパラメータへの入力、コミュニティでの議論。
• ヘシュマンの「退去・忠誠・発言」フレームワークを用い、参加を単なる選択順位付けを超えたものとして位置づける。
• 技術的ツール（例：シミュレーション）が政策立案に役立つが、そのようなツールへの家族やコミュニティのアクセスを広げる必要があると指摘する。

実験結果

リサーチクエスチョン

• RQ1 好みに基づくアルゴリズムシステム、たとえばSFUSDの学生割り当てプロセスは、どのように既存の社会的不平等を再現するのか？
• RQ2 順位付けされた好みリストは、リソース配分におけるステークホルダーの価値観、ニーズ、目標をどの程度正確に反映しているのか？
• RQ3 なぜ好みの集約は、アルゴリズムガバナンスにおける分配的正義を達成するのに不十分なのか？
• RQ4 どのような代替的参加形態が、より民主的で包摂的かつ公平なアルゴリズム設計を支援できるのか？
• RQ5 技術的ツールと公共的議論をどのように活用し、単なる順位付けを越えた意味のあるステークホルダー参加を拡大できるのか？

主な発見

• SFUSDの学生割り当てアルゴリズムは、学生の好みを最適化することを目的としているが、逆に隔離を悪化させ、公平な結果を達成できなかった。
• 順位付けされた好みリストは、資源が乏しい家族が学校を調査する能力に劣るため、粗いかつ不平等なメカニズムである。
• 好みの集約は、集合的善や正義を自発的に反映するものではなく、個人の好みがしばしば構造的バイアスを反映・再現するためである。
• 家族に「声を上げる」権利を与えるという民主的フェイクを生み出す一方で、構造的不平等に挑戦する能力を制限することで、アルゴリズムは民主的であるがごまかしを働かせた。
• 技術的シミュレーション（例：Kasman, 2014）は政策形成に不可欠な役割を果たしたが、そのようなツールは大多数の家族にはアクセス不可能なままである。
• 学校要因の重み付けやコミュニティでの議論といった、より表現的な参加形態は、包摂的なアルゴリズムガバナンスにとって不可欠である。