[論文レビュー] FairVis: Visual Analytics for Discovering Intersectional Bias in Machine Learning

Ángel Alexander Cabrera, Will Epperson+4 more|arXiv (Cornell University)|Apr 10, 2019

Ethics and Social Impacts of AI参考文献 40被引用数 181

ひとこと要約

FAIRVIS は、調整されたインタラクティブなビューパーソナライズを通じて、機械学習モデルにおける交差的バイアスをデータサイエンティストが発見できる視覚的アナリティクスシステムである。クラスタリングとエントロピーに基づく特徴量の重要度を用いた自動サブグループ提案を、ユーザー主導の探索と統合し、隠れた格差を明らかにする。例えば、'own-child' の関係ステータスを持つ「結婚済み・配偶者」女性のサブグループでは、正解率が 71% にまで低下しており、これは複雑な文化的要因の交差における公平性の監査可能性を向上させる。

ABSTRACT

The growing capability and accessibility of machine learning has led to its application to many real-world domains and data about people. Despite the benefits algorithmic systems may bring, models can reflect, inject, or exacerbate implicit and explicit societal biases into their outputs, disadvantaging certain demographic subgroups. Discovering which biases a machine learning model has introduced is a great challenge, due to the numerous definitions of fairness and the large number of potentially impacted subgroups. We present FairVis, a mixed-initiative visual analytics system that integrates a novel subgroup discovery technique for users to audit the fairness of machine learning models. Through FairVis, users can apply domain knowledge to generate and investigate known subgroups, and explore suggested and similar subgroups. FairVis' coordinated views enable users to explore a high-level overview of subgroup performance and subsequently drill down into detailed investigation of specific subgroups. We show how FairVis helps to discover biases in two real datasets used in predicting income and recidivism. As a visual analytics system devoted to discovering bias in machine learning, FairVis demonstrates how interactive visualization may help data scientists and the general public understand and create more equitable algorithmic systems.

研究の動機と目的

• 複数の文化的要因（例：人種と性別）を組み合わせた場合にのみ顕在化する性能格差を検出する課題に対処すること。
• クラスタリングと公平性指標を用いた自動化により、複数の交差する特徴量における性能が低いサブグループの発見を自動化し、手作業によるサブグループ探索の負担を軽減すること。
• 特定のサブグループが低性能を示す理由を解明するために、特徴量の分布と類似サブグループの比較を可能にすることで、データサイエンティストが原因を調査できるように支援すること。
• ドメイン知識と自動提案を統合し、モデルのパフォーマンスを維持したまま公平性指標をバランスさせることが可能になるようにすること。
• 特にリサイジビリティや収入予測といった高リスク分野において、現実のデータセットにおける公平性を監査できる、インタラクティブでスケーラブルなインターフェースを提供すること。

提案手法

• FAIRVIS は、調整されたビューパーソナライズ（特徴量分布、サブグループ概要、詳細比較、提案／類似サブグループビューパーソナライズ）を備えたミックスド・イニシアチブ型の視覚的アナリティクスアーキテクチャを採用している。
• 訓練データに対して K-means クラスタリングを適用し、類似した特徴量パターンを持つインスタンスをグループ化することで、統計的に類似したサブグループを同定する。
• エントロピーに基づく特徴量の重要度を計算し、クラスタ内での公平性指標の異常を引き起こす主な文化的特徴量を特定する。
• 公平性指標（例：正答率、偽陽性率）の値が最小となるサブグループをランク付け・提案することで、的を絞った調査を可能にする。
• 特徴量分布間の統計的発散（例：KL 発散）を用いて類似サブグループを同定し、比較分析を支援する。
• 公平性指標とベースレートをサブグループごとに可視化することで、パフォーマンスの比較と格差の原因の仮説検証を可能にする。

実験結果

リサーチクエスチョン

• RQ1 視覚的アナリティクスシステムは、機械学習モデルにおける交差的バイアスの発見をどのように効果的に支援できるか？
• RQ2 複数の交差する特徴量にわたる性能が低い文化的サブグループの特定を自動化するための技術は何か？
• RQ3 サブグループ間の類似性測定値は、パフォーマンス格差の根本的原因を理解するのをどのように支援するか？
• RQ4 自動サブグループ提案が、現実のデータセットにおけるユーザーが特定した公平性の問題とどの程度一致するか？
• RQ5 調整されたビューパーソナライズは、高次元の文化的なサブグループにおいて、公平性指標の監査可能性をどのように向上させるか？

主な発見

• UCI 所得所得データセットにおいて、FAIRVIS は「結婚済み・配偶者」で「妻」という関係ステータスの女性サブグループで、モデルの正答率が最低で 71% にまで低下していることを特定した。これはデータセット全体の平均（85%）より著しく低い。
• 同様のサブグループである「結婚済み・配偶者」で「子供自身」という関係ステータスの女性サブグループは、44件のインスタンスしかなく、陽性結果のベースレートが 20% 未満であった。これは、データ不足とクラス不均衡が要因である可能性を示唆している。
• リサイジビリティデータセットにおいて、アフリカ系アメリカン男性が全人種・性別サブグループの中で最も高い偽陽性率（70% を超える）を示しており、再発見率は比較的高いにもかかわらず、深刻な公平性の問題を示している。
• ユーザーは、詳細比較ビューや特徴量分布ビューを通じて、パフォーマンス格差が歪んだベースレートや小さなサブグループサイズといった特徴量分布の不均衡に起因していることを特定できた。
• 提案サブグループと類似サブグループビューパーソナライズは、異常な公平性指標パフォーマンスを示すサブグループを効果的に強調し、調査の優先順位を迅速に設定できるようにした。
• 自動サブグループ提案とユーザー主導の探索を統合することで、公平性監査の効率が向上し、網羅的な手作業によるサブグループ列挙の必要性が削減された。