[論文レビュー] Participatory Problem Formulation for Fairer Machine Learning Through Community Based System Dynamics

Donald Martin, Vinodkumar Prabhakaran+3 more|arXiv (Cornell University)|May 15, 2020

Ethics and Social Impacts of AI参考文献 25被引用数 29

ひとこと要約

本論文は、参加型のシステムダイナミクスモデリングを通じて、差別的扱いを受けるステークホルダーを問題定義段階に参加させることで、機械学習における公平性を向上させるためのコミュニティベースド・システムダイナミクス（CBSD）を提案する。視覚的システムダイナミクス図とシミュレーションを用いることで、CBSDは因果的仮定を明確にし、高リスク分野におけるフィードバックループや時間遅れを捉え、生活経験を統合することで機械学習システム設計におけるバイアスを低減する。

ABSTRACT

Recent research on algorithmic fairness has highlighted that the problem formulation phase of ML system development can be a key source of bias that has significant downstream impacts on ML system fairness outcomes. However, very little attention has been paid to methods for improving the fairness efficacy of this critical phase of ML system development. Current practice neither accounts for the dynamic complexity of high-stakes domains nor incorporates the perspectives of vulnerable stakeholders. In this paper we introduce community based system dynamics (CBSD) as an approach to enable the participation of typically excluded stakeholders in the problem formulation phase of the ML system development process and facilitate the deep problem understanding required to mitigate bias during this crucial stage.

研究の動機と目的

• 機械学習の問題定義段階における構造的かつ包括的な手法の欠如を是正すること。これはアルゴリズムバイアスの主要因である。
• 現在の問題定義が、多様性に欠けるステークホルダーによる曇った因果的推論に依存しており、高リスク分野における動的複雑性を十分に考慮していないことの認識。
• 機械学習システム設計段階における因果モデル開発に、脆弱なコミュニティの生活経験を統合することでバイアスを軽減すること。
• フィードバックループ、時間遅れ、構造的不平等を考慮した、形式的で透明性があり、参加型の因果的推論アプローチの開発。
• コミュニティが因果モデルを共同で作成・批判できるようにし、公平性がコミュニティが関与した視点によって定義され、評価されることを保証すること。

提案手法

• 問題領域に根ざしたステークホルダーを参加させる、参加型モデリング手法としてのコミュニティベースド・システムダイナミクス（CBSD）を適用する。
• 因果的仮定を可視化し、批判に耐えるようにするため、因果ループ図（CLDs）を用いてフィードバックループと変数間の関係をマッピングする。
• 蓄積と時間的変化率を表すために、ストック・アンド・フロー図を構築する。
• モデルに基づくシミュレーションを実施し、介入の影響をテストし、長期的影響を可視化し、因果仮説を安全な「インシリコ」環境で検証する。
• 差別的扱いを受けるコミュニティを含む多様なステークホルダーによる共同ワークショップを通じて、反復的なモデルの洗練を促進する。
• コミュニティの視点をモデル開発に統合することで、因果理論が現実世界の経験と構造的不平等を反映するようにする。

実験結果

リサーチクエスチョン

• RQ1 機械学習における問題定義段階をどのように形式化すれば、曇った直感的因果推論への依存を減らせるか？
• RQ2 差別的扱いを受けるステークホルダーは、参加型手法を通じて、高リスクな機械学習応用における因果モデルの構築にどのような形で貢献できるか？
• RQ3 フィードバックループや時間遅れといった動的複雑性を統合することで、機械学習システム設計における公平性はどのように向上するか？
• RQ4 参加型システムダイナミクスモデルは、従来のトップダウン型の定式化と比較して、より公平で透明性の高い機械学習介入をもたらすか？
• RQ5 周辺的ステークホルダーの生活経験は、機械学習システムにおけるバイアスの原因となる代理変数の特定と是正に、どのような役割を果たすか？

主な発見

• 問題定義段階は、機械学習におけるバイアスの主要因でありながら、十分に取り組まれていない重要な段階である。これは、医療リスク評価アルゴリズムにおける人種的バイアスが、医療費をニーズの代理指標として使用したことに起因する。
• 医療費をニーズの代理指標として使用したことは、アフリカ系アメリカ人の医療アクセスの低下といった構造的不平等を考慮しておらず、高リスク患者の特定が不十分になった。
• CBSDは、因果ループ図とシミュレーションを通じて、支出とニーズの関連といった因果的仮定をステークホルダーが視覚化・批判できるようにする。
• CBSDによる参加型モデリングは、因果的推論を明確にし、未検証の仮定への依存を減らし、機械学習開発における透明性を高める。
• システムダイナミクスモデルのシミュレーションにより、「インシリコ」実験が可能となり、ステークホルダーが介入の長期的影響や予期しない結果を理解できる。
• コミュニティの視点をモデル構築に統合することで、より正確な因果モデルが得られ、既存の社会的不平等が機械学習システムで再現されるリスクが低減する。