[論文レビュー] Causal effect of racial bias in data and machine learning algorithms on user persuasiveness & discriminatory decision making: An Empirical Study

Kinshuk Sengupta, Praveen Ranjan Srivastava|arXiv (Cornell University)|Jan 22, 2022

Ethics and Social Impacts of AI被引用数 4

ひとこと要約

本研究は、トレーニングデータおよび機械学習モデルにおける人種的バイアスが、ユーザーの説得力および意思決定に与える影響を経験的に調査する。反事実的分析を用いた制御されたラボ実験を通じて、本研究は、バイアスを含むAIモデルがユーザーの説得力を低下させ、意思決定を歪めるという事実を示しており、NLPシステムにおける公平性と信頼性を確保するための倫理的AI設計の必要性を強調している。

ABSTRACT

Language data and models demonstrate various types of bias, be it ethnic, religious, gender, or socioeconomic. AI/NLP models, when trained on the racially biased dataset, AI/NLP models instigate poor model explainability, influence user experience during decision making and thus further magnifies societal biases, raising profound ethical implications for society. The motivation of the study is to investigate how AI systems imbibe bias from data and produce unexplainable discriminatory outcomes and influence an individual's articulateness of system outcome due to the presence of racial bias features in datasets. The design of the experiment involves studying the counterfactual impact of racial bias features present in language datasets and its associated effect on the model outcome. A mixed research methodology is adopted to investigate the cross implication of biased model outcome on user experience, effect on decision-making through controlled lab experimentation. The findings provide foundation support for correlating the implication of carry-over an artificial intelligence model solving NLP task due to biased concept presented in the dataset. Further, the research outcomes justify the negative influence on users' persuasiveness that leads to alter the decision-making quotient of an individual when trying to rely on the model outcome to act. The paper bridges the gap across the harm caused in establishing poor customer trustworthiness due to an inequitable system design and provides strong support for researchers, policymakers, and data scientists to build responsible AI frameworks within organizations.

研究の動機と目的

• 言語データセットにおける人種的バイアスがユーザーの説得力および意思決定結果に与える因果的影響を検証すること。
• ユーザーがモデルが出力する内容に依存する際、バイアスを含むAIモデルが個人の意思決定に与える影響を調査すること。
• モデルの説明可能性とバイアスが、AI支援意思決定におけるユーザーの信頼性と公平性を損なう役割を評価すること。
• バイアスのあるデータと差別的結果、AI対話におけるユーザーの的確な表現力の低下を結びつける経験的証拠を提供すること。
• 現実世界の応用におけるバイアスのあるモデル設計がもたらす被害を特定することで、責任あるAIフレームワークの構築を支援すること。

提案手法

• 定量的ラボ実験とユーザー行動の定性的分析を組み合わせた混合研究手法を採用した。
• トレーニングデータに含まれる人種的バイアスの特徴に着目し、反事実的シナリオを用いた制御実験を実施した。
• 人種的バイアスのあるデータセットでトレーニングされたNLPモデルを用い、それがユーザーの意思決定および説得力に与える影響を評価した。
• バイアスありおよびバイアスなしのモデル出力との対話において、ユーザー行動および意思決定の質の変化を測定した。
• データおよびモデルのバイアスがユーザーの結果に与える直接的影響を評価するため、因果推論技術を適用した。
• ユーザーの反応および行動指標を収集し、説得力および意思決定の一貫性の変化を分析した。

実験結果

リサーチクエスチョン

• RQ1 トレーニングデータに人種的バイアスがあると、ユーザーがAI生成出力に依存する際、説得力にどのような影響を与えるか？
• RQ2 機械学習モデルに人種的バイアスが存在する場合、個人の意思決定プロセスにそれがどの程度影響を及えるか？
• RQ3 バイアスのあるデータ、モデルの行動、およびAI支援意思決定におけるユーザーの信頼性との間の因果関係は何か？
• RQ4 モデルの説明可能性は、バイアスがユーザーの意思決定および表現力に与える影響をどのように緩和するか？
• RQ5 バイアスを含むAIシステムは、ユーザー向けNLPアプリケーションにおいて、どのような形で差別的結果をもたらすか？

主な発見

• トレーニングデータに人種的バイアスがあると、ユーザーがモデル出力に依存する際、説得力が著しく低下する。
• バイアスのあるモデル出力を提示されたユーザーは、意思決定行動が変化し、差別的結果を好む傾向を示した。
• 本研究では、バイアスのあるシステム設計が、ユーザーの信頼性および意思決定の質に顕著な悪影響を及ぼすことが判明した。
• バイアスのあるモデルは、特に説得的文脈において、ユーザーの表現の明確さと効果性を低下させた。
• 研究結果は、バイアスのあるデータ、モデルの行動、および下流のユーザー層における差別的結果との因果的関連を裏付けた。
• 本研究は、AI開発プロセスにおける説明可能性の向上および公平性監査の重要性を強調している。