[論文レビュー] Towards a multi-stakeholder value-based assessment framework for algorithmic systems

Mireia Yurrita, Dave Murray-Rust+2 more|arXiv (Cornell University)|Jan 1, 2022

Ethics and Social Impacts of AI参考文献 193被引用数 32

ひとこと要約

本論文は、バイアス監査をはるかに超えて、11の主要な倫理的価値を円形で反対的構造に配置した、複数のステークホルダーを対象とした価値ベースの評価フレームワークを提案する。このフレームワークは、価値のトレードオフや緊張関係を可視化し、定量的指標、プロセス指向の実践、サインifier（システムの機能を示す知覚可能な手がかり）を通じてこれらの価値を実装し、多様なステークホルダーに適したコミュニケーション手段をマッピングすることで、MLライフサイクル全体にわたり包括的で文脈に配慮した倫理的評価を可能にする。

ABSTRACT

<p>In an effort to regulate Machine Learning-driven (ML) systems, current auditing processes mostly focus on detecting harmful algorithmic biases. While these strategies have proven to be impactful, some values outlined in documents dealing with ethics in ML-driven systems are still underrepresented in auditing processes. Such unaddressed values mainly deal with contextual factors that cannot be easily quantified. In this paper, we develop a value-based assessment framework that is not limited to bias auditing and that covers prominent ethical principles for algorithmic systems. Our framework presents a circular arrangement of values with two bipolar dimensions that make common motivations and potential tensions explicit. In order to operationalize these high-level principles, values are then broken down into specific criteria and their manifestations. However, some of these value-specific criteria are mutually exclusive and require negotiation. As opposed to some other auditing frameworks that merely rely on ML researchers' and practitioners' input, we argue that it is necessary to include stakeholders that present diverse standpoints to systematically negotiate and consolidate value and criteria tensions. To that end, we map stakeholders with different insight needs, and assign tailored means for communicating value manifestations to them. We, therefore, contribute to current ML auditing practices with an assessment framework that visualizes closeness and tensions between values and we give guidelines on how to operationalize them, while opening up the evaluation and deliberation process to a wide range of stakeholders.</p>

研究の動機と目的

• 現在のML監査手法がバイアス検出に限定されている一方で、反論可能性、透明性、責任性といったより広範な倫理的価値を無視するというギャップを埋める。
• 高水準の倫理的原則を具体的な基準とその現れ方へと具体化する、構造的で実行可能なフレームワークを開発する。
• 価値の現れ方を適切にコミュニケーションすることで、多様なステークホルダーを意味的に関与させ、包括的な倫理的議論を促進する。
• 倫理的価値を円形で反対的構造に配置することで、価値の緊張関係と共通の動機を可視化し、ML開発における能動的倫理的対応を支援する。
• 文脈に応じた適合が可能で、継続的なステークホルダー参加を促進する、柔軟で拡張可能なフレームワークを提供する。

提案手法

• 11の顕著な倫理的価値（例：公平性、透明性、反論可能性）を円形で反対的構造に配置し、価値間の相互作用、トレードオフ、共通の動機を明確にする円形で反対的フレームワークを設計する。
• 各価値を具体的な基準とその現れ方に分解し、定量的指標、プロセス指向の実践、またはサインifier（システム機能の知覚可能な手がかり）に分類する。
• 開発者、エンドユーザー、監査者、意思決定の対象者などのステークホルダーのプロファイルを、それぞれの洞察ニーズに照らしてマッピングし、価値の現れ方を伝えるための適切なコミュニケーション手段（例：ダッシュボード、レポート、可視化）を割り当てる。
• ML開発およびデプロイメントのパイプラインにフレームワークを統合し、設計段階での能動的価値統合と、後向き評価の両方を支援する。
• 既存のツールや実践（例：Values Dashboard、GitHub風のタイムライン）を活用して、開発フェーズ全体にわたりステークホルダーの関与と反復的評価を支援する。
• フレームワークをオープンで協働的なオンラインリポジトリにホスティングし、コミュニティによる貢献とツール・コミュニケーション手法の継続的拡張を可能にする。

実験結果

リサーチクエスチョン

• RQ1 MLシステムにおける倫理的価値を、共通の動機と内在的な緊張関係を明らかにする形で体系的に整理するにはどうすればよいか？
• RQ2 公平性、透明性、反論可能性といった高水準の倫理的価値を、文脈に配慮した形で具体化する基準と現れ方は何か？
• RQ3 価値の現れ方を適切にコミュニケーションすることで、多様なステークホルダーをアルゴリズムシステムの評価に意味的に関与させるにはどうすればよいか？
• RQ4 文脈的要因と長期的システムインパクトは倫理的評価において果たす役割は何か？ そして、それらを監査フレームワークに統合するにはどうすればよいか？
• RQ5 このフレームワークは、MLライフサイクルにおいて後向き評価と能動的倫理的設計の両方をどのように支援するか？

主な発見

• 11の倫理的価値を円形で反対的構造に配置することで、共通の動機とトレードオフを可視化でき、価値の緊張関係や相互依存性を明確にできる。
• 各価値が、定量的指標、プロセス指向の実践、またはサインifierに分解され、MLパイプライン全体にわたり実装可能となる。
• 技術的熟練度や洞察ニーズが異なるステークホルダーは、開発者向けダッシュボードやエンドユーザー向けの簡素化されたレポートといった特定のコミュニケーション手段にマッピングされる。
• フレームワークは、意思決定対象者を対象とした公平性の現れ方を伝えるためのコミュニケーションツールの不足といった研究ギャップを特定し、今後の作業にとって未開発だが極めて重要な分野を示している。
• フレームワークは、後向き評価と能動的倫理的設計の両方を支援でき、Values Dashboardなどのツールを通じて既存の開発ワークフローに統合可能である。
• オープンでコミュニティ主導のリポジトリモデルにより、フレームワークの継続的拡張と適合が可能となり、長期的な持続可能性と文脈に応じたカスタマイズを促進する。