[論文レビュー] D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias

Bhavya Ghai, Klaus Mueller|arXiv (Cornell University)|Aug 10, 2022

Ethics and Social Impacts of AI被引用数 9

ひとこと要約

D-BIAS は、因果モデルを用いて表形式データセットにおけるアルゴリズム的バイアスを検出・是正する、人間が関与するビジュアルアナリティクスシステムである。ユーザーが因果関係をインタラクティブに修正し、最小限の歪みでバイアスのないデータセットをシミュレートできるため、自動化手法と比較して公平性の格差を顕著に低減するとともに、信頼性、解釈可能性、説明責任の向上が図られる。

ABSTRACT

With the rise of AI, algorithms have become better at learning underlying patterns from the training data including ingrained social biases based on gender, race, etc. Deployment of such algorithms to domains such as hiring, healthcare, law enforcement, etc. has raised serious concerns about fairness, accountability, trust and interpretability in machine learning algorithms. To alleviate this problem, we propose D-BIAS, a visual interactive tool that embodies human-in-the-loop AI approach for auditing and mitigating social biases from tabular datasets. It uses a graphical causal model to represent causal relationships among different features in the dataset and as a medium to inject domain knowledge. A user can detect the presence of bias against a group, say females, or a subgroup, say black females, by identifying unfair causal relationships in the causal network and using an array of fairness metrics. Thereafter, the user can mitigate bias by acting on the unfair causal edges. For each interaction, say weakening/deleting a biased causal edge, the system uses a novel method to simulate a new (debiased) dataset based on the current causal model. Users can visually assess the impact of their interactions on different fairness metrics, utility metrics, data distortion, and the underlying data distribution. Once satisfied, they can download the debiased dataset and use it for any downstream application for fairer predictions. We evaluate D-BIAS by conducting experiments on 3 datasets and also a formal user study. We found that D-BIAS helps reduce bias significantly compared to the baseline debiasing approach across different fairness metrics while incurring little data distortion and a small loss in utility. Moreover, our human-in-the-loop based approach significantly outperforms an automated approach on trust, interpretability and accountability.

研究の動機と目的

• 完全に自動化された是正手法には透明性、解釈可能性、ユーザーの制御が欠けるという限界を是正すること。
• ドメインエキスパートがインタラクティブな因果モデルの精練を通じて文脈的な公平性の知識を統合できるようにすること。
• データの有用性を保持しつつ、表形式データにおけるアルゴリズム的バイアスを低減すること。
• 是正プロセスに対するビジュアルでインタラクティブな制御を提供することで、信頼性、説明責任、解釈可能性を向上させること。
• 人間が関与する因果モデリングの有効性を、実世界のデータセットにおける公平性の観点から実証すること。

提案手法

• システムは、因果発見アルゴリズム（例：PCアルゴリズム）を用いて表形式データからグラフィカルな因果モデルを構築し、特徴量間の因果関係を表現する。
• ユーザーは、不公正またはバイアスがあると識別したエッジを弱める、または削除することで、因果ネットワークをインタラクティブに編集できる。
• 各ユーザーの操作は、更新された因果モデルに整合した新しいバイアスのないデータセットを生成する、新しいシミュレーションベースのデータ生成プロセスをトリガーする。
• システムは、各変更が公平性指標（例：デモグラフィックパラティーション、同等の機会）、データユーティリティ、データ分布の歪みに与える影響を可視化する。
• ビジュアルインターフェースは、因果ネットワークの探索、公平性評価、データセット生成を統合したワークフローで統合する。
• 構造方程式モデル（SEMs）を活用してデータをシミュレートすることで、元のデータセットからの最小限の逸脱を保証する。

実験結果

リサーチクエスチョン

• RQ1 因果モデリングに基づく人間が関与するシステムが、表形式データセットにおける社会的バイアスを効果的に検出し是正できるか。
• RQ2 因果関係に対するユーザーのインタラクションが、公平性指標、データユーティリティ、分布の忠実度にどのように影響するか。
• RQ3 D-BIASシステムは、公平性、信頼性、解釈可能性の観点から、自動化された是正手法をどの程度上回るか。
• RQ4 ユーザーは、公平性に配慮したデータキュレーションにおいて、本システムが提供する透明性と制御性をどのように評価しているか。
• RQ5 実世界の高次元データセットに因果モデリングを適用する際のスケーラビリティとユーザビリティの課題は何か。

主な発見

• D-BIAS は、デモグラフィックパラティーションや同等の機会といった複数の公平性指標において、ベースラインとなる自動化された是正手法と比較して、顕著にバイアスを低減した。
• システムは最小限のデータ歪みとわずかなモデルユーティリティの損失を実現し、公平性とパフォーマンスの間の効果的なトレードオフを示した。
• 形式的なユーザースタディにより、D-BIAS を使用した場合、ユーザーは完全に自動化されたツールと比較して、信頼性、解釈可能性、説明責任の観点で高い満足度を示した。
• ユーザーが不適切な因果エッジを削除または弱める操作を可能にすることで、Adult Income データセットにおける性別と婚姻状態の代理バイアスが効果的に是正された。
• ユーザースタディの参加者たちは、ビジュアルインターフェースが直感的であると評価し、公平性指標のツールチップや直接的なCSV可視化の追加を提案した。
• ユーザーの干渉により、COMPAS データセットにおける年齢と人種の間の誤ったエッジ（誤った相関）といった、因果発見における標本バイアスに対しても、D-BIAS は耐性を示した。