[論文レビュー] Keeping Designers in the Loop: Communicating Inherent Algorithmic Trade-offs Across Multiple Objectives

Bowen Yu, Ye Yuan+4 more|arXiv (Cornell University)|Oct 7, 2019

Ethics and Social Impacts of AI参考文献 42被引用数 5

ひとこと要約

本論文は、AI予測モデルにおける公平性と精度のトレードオフをデザイナーとユーザーが理解し、意思決定を支援するインタラクティブな可視化手法を提案する。特に再犯リスク評価の文脈において、大規模なオンライン調査と専門家インタビューを通じて評価された手法は、アルゴリズム的トレードオフを透明にナビゲート可能にし、より情報に基づいた、価値に整合したモデル選定を可能にする。

ABSTRACT

Artificial intelligence algorithms have been used to enhance a wide variety of products and services, including assisting human decision making in high-stakes contexts. However, these algorithms are complex and have trade-offs, notably between prediction accuracy and fairness to population subgroups. This makes it hard for designers to understand algorithms and design products or services in a way that respects users' goals, values, and needs. We proposed a method to help designers and users explore algorithms, visualize their trade-offs, and select algorithms with trade-offs consistent with their goals and needs. We evaluated our method on the problem of predicting criminal defendants' likelihood to re-offend through (i) a large-scale Amazon Mechanical Turk experiment, and (ii) in-depth interviews with domain experts. Our evaluations show that our method can help designers and users of these systems better understand and navigate algorithmic trade-offs. This paper contributes a new way of providing designers the ability to understand and control the outcomes of algorithmic systems they are creating.

研究の動機と目的

• AIシステム設計におけるデザイナー、ユーザー、アルゴリズム開発者の間のコミュニケーションギャップを解消すること。
• 特に公平性と精度の間のトレードオフを含む、多目的AIアルゴリズムの本質的トレードオフを、デザイナーやユーザーが理解できるようにすること。
• 予測モデルにおけるトレードオフを可視化し、価値志向のアルゴリズム選定を支援する手法を提供すること。
• 倫理的および性能上のトレードオフが極めて重要な高リスク意思決定文脈（例：犯罪再犯予測）を支援すること。
• 機械学習の深い技術的知識がなくても、非専門のデザイナーがアルゴリズム的トレードオフに意味的に関与できるようにすること。

提案手法

• アルゴリズムチューニングを用いて、公平性と精度のトレードオフの広範なスケールをカバーする予測モデルのファミリーを生成する。
• 複数の目的にわたるモデルパフォーマンスを探索・比較できるインタラクティブな可視化を設計する。
• 変更された公平性制約が精度およびサブグループの不平等にどのように影響するかを示すために、視覚的キュー（例：ドット、スライダー、動的更新）を用いる。
• 実世界のデータセットとモデルファミリーを用いて、犯罪再犯予測の事例研究文脈でインターフェースを実装する。
• ユーザーの理解度とモデル選択行動を評価するため、大規模なAmazon Mechanical Turk実験を実施する。
• 実世界の設計および意思決定文脈におけるツールの有効性を評価するため、分野の専門家を対象とした詳細なインタビューを補足的に実施する。

実験結果

リサーチクエスチョン

• RQ1 デザイナーやユーザーは、AI予測モデルにおける公平性と精度のトレードオフを効果的に探索し、理解できるか？
• RQ2 インタラクティブな可視化は、ユーザーが自身の価値観や目標に合ったモデル選定能力をどの程度向上させるか？
• RQ3 経験の程度が異なるユーザー（初心者対専門家）は、視覚インターフェース内でアルゴリズム的トレードオフをどのようにナビゲートし、解釈するか？
• RQ4 トレードオフの透明性は、ユーザーがアルゴリズム的推奨事項に対する信頼にどのように影響するか？
• RQ5 公平性と精度に関する多様な好みを持つステークホルダー間で、合意形成を支援するデザインパターンは何か？

主な発見

• インタラクティブな可視化インターフェースは、初心者ユーザーおよび分野の専門家が、再犯予測モデルにおける複雑な公平性と精度のトレードオフを効果的に探索・理解できるようにした。
• トレードオフが視覚的に明確に提示されたことで、ユーザーは自身の価値観や優先順位に合ったモデル選定能力が向上した。
• トレードオフの透明性により、より情報に基づいた意思決定が促進され、ユーザーは異なる構成の結果を可視化できることで、選択に対する自信が高まった。
• ユーザーは、サブグループの不平等を示す動的ドットなどの視覚フィードバックが、公平性制約の変更がモデルパフォーマンスに与える影響を把握する上で不可欠であると報告した。
• 本手法は、公平性と精度のトレードオフに対する多様な好みを明らかにした。これは、複数のステークホルダーが関与する設計プロセスにおいて、合意形成のメカニズムの必要性を示唆している。
• トレードオフの透明性は信頼に二重の影響を与えた：ユーザーがシステムを理解した場合には信頼が増したが、トレードオフが個人の価値と食い違う場合には懐疑的になる傾向も見られた。