[論文レビュー] A Broader View on Bias in Automated Decision-Making: Reflecting on Epistemology and Dynamics

Roel Dobbe, Sarah Dean+2 more|arXiv (Cornell University)|Jul 2, 2018

Ethics and Social Impacts of AI参考文献 3被引用数 35

ひとこと要約

本稿は、認識論的考察と動的フィードバック解析を統合することで、自動意思決定におけるバイアスをより広範な枠組みで理解するためのフレームワークを提案する。技術的バイアスと発生的バイアス（知識の形式化方法およびシステムと環境との相互作用に由来）は、データ中心のアプローチを超えて、公平性と説明責任を確保するための価値感受性設計、自己認識、および多様な分野との連携を要するものであると主張する。

ABSTRACT

Machine learning (ML) is increasingly deployed in real world contexts, supplying actionable insights and forming the basis of automated decision-making systems. While issues resulting from biases pre-existing in training data have been at the center of the fairness debate, these systems are also affected by technical and emergent biases, which often arise as context-specific artifacts of implementation. This position paper interprets technical bias as an epistemological problem and emergent bias as a dynamical feedback phenomenon. In order to stimulate debate on how to change machine learning practice to effectively address these issues, we explore this broader view on bias, stress the need to reflect on epistemology, and point to value-sensitive design methodologies to revisit the design and implementation process of automated decision-making systems.

研究の動機と目的

• 機械学習におけるバイアスのデータ中心的視点を越え、技術的バイアスと発生的バイアスをシステム的問題として扱う。
• 機械学習の実務家が問題を形式化し、人間の現象を表現する方法に影響を与える認識論の役割を強調する。
• 実世界の展開においてバイアスを強化または拡大するフィードバックダイナミクスの重要性を強調する。
• 責任あるAI開発における不可欠な実践として、価値感受性設計と批判的自己認識を提唱する。
• AI、社会科学、 humanity 間の対話を促進し、システム設計に倫理的価値を統合する。

提案手法

• 技術的バイアスを、定性的・連続的・非形式的概念を計算モデルに形式化する際に生じる認識論的問題として解釈する。
• 発生的バイアスを、システムの出力が将来の入力に影響を与え、既存の格差を強化するフィードバックダイナミクス現象として分析する。
• ステークホルダーの価値を機械学習システムの設計および実装プロセスに組み込む価値感受性設計の手法を援用する。
• 三つの原則を提唱する：公平性のファセット的分析、認識論に及ぼすポジショナリティの影響を認識すること、ステークホルダー参加による価値感受性設計の実施。
• 実務家が自らの個人的・職業的背景がモデリング選択やバイアスにどのように影響するかを認識するための自己認識を奨励する。
• システム理論およびクローズド・ループ同定法の知見を活用して社会的技術的フィードバックメカニズムをモデル化するが、社会的文脈への工学的モデルの適用に限界があることを認識する。

実験結果

リサーチクエスチョン

• RQ1 技術的バイアスは、データ形式化とモデル設計に埋め込まれた認識論的仮定からどのように生じるのか？
• RQ2 展開された機械学習システムにおけるフィードバックループは、時間の経過とともにどのように社会的不平等を拡大または強化するのか？
• RQ3 価値感受性設計を機械学習にどのように実装し、公平性と説明責任を事前に統合できるか？
• RQ4 研究者または実務家のポジショナリティは、機械学習システムの認識論にどのように影響を与えるか？
• RQ5 システム理論およびフィードバックモデリングは、より透明性とレジリエンスを持つ自動意思決定システムの設計にどのように寄与できるか？

主な発見

• 技術的バイアスは、データそのものだけでなく、人間の現象を定量化・離散化・形式化する認識論的選択に起因する。例として、「いいね」を順序尺度のレーティングに代えること。
• 発生的バイアスは、システムの出力が将来のデータ（例：推薦システムにおけるユーザー行動）に影響を与え、差別の的状態を自己強化するサイクルを生むフィードバックループに起因する。
• 表象的害悪（モデルが有害な社会的ステレオタイプやアイデンティティを強化するもの）は、長期的な社会的影響を有するにもかかわらず、機械学習分野でしばしば見過ごされている。
• 本稿は、公平性を技術的修正だけで確保することは不可能であり、継続的な自己認識とドメインエキスパートおよび影響を受けるコミュニティとの連携が不可欠であると主張する。
• 公平性のファセット的分析と価値感受性設計は、静的データ分析では捉えきれないバイアスを特定・緩和するために不可欠である。
• ポジショナリティは認識論を形作る：実務家の背景と訓練が、問題の定式化や形式化の仕方を左右するため、自己認識は責任あるAIにおける必須の要素である。