[論文レビュー] Understanding Unfairness in Fraud Detection through Model and Data Bias Interactions

José P. Pombal, André F. Cruz+4 more|arXiv (Cornell University)|Jul 13, 2022

Corruption and Economic Development被引用数 5

ひとこと要約

本稿では、データバイアスの分類法を提唱し、モデルの挙動とデータバイアスの相互作用が不正検出における公平性-正確性のトレードオフをどのように形作るかを調査する。公平性の結果は、バイアスの種類とサンプリングの分散に極めて敏感であることが判明し、単純な事前処理手法は特定のバイアス条件下でのみ有効である。これは、金融分野の機械学習システムにおいて、モデルとデータの両方の公平性分析を統合的に検討する必要があることを示唆している。

ABSTRACT

In recent years, machine learning algorithms have become ubiquitous in a multitude of high-stakes decision-making applications. The unparalleled ability of machine learning algorithms to learn patterns from data also enables them to incorporate biases embedded within. A biased model can then make decisions that disproportionately harm certain groups in society -- limiting their access to financial services, for example. The awareness of this problem has given rise to the field of Fair ML, which focuses on studying, measuring, and mitigating unfairness in algorithmic prediction, with respect to a set of protected groups (e.g., race or gender). However, the underlying causes for algorithmic unfairness still remain elusive, with researchers divided between blaming either the ML algorithms or the data they are trained on. In this work, we maintain that algorithmic unfairness stems from interactions between models and biases in the data, rather than from isolated contributions of either of them. To this end, we propose a taxonomy to characterize data bias and we study a set of hypotheses regarding the fairness-accuracy trade-offs that fairness-blind ML algorithms exhibit under different data bias settings. On our real-world account-opening fraud use case, we find that each setting entails specific trade-offs, affecting fairness in expected value and variance -- the latter often going unnoticed. Moreover, we show how algorithms compare differently in terms of accuracy and fairness, depending on the biases affecting the data. Finally, we note that under specific data bias conditions, simple pre-processing interventions can successfully balance group-wise error rates, while the same techniques fail in more complex settings.

研究の動機と目的

• 不正検出におけるアルゴリズム的不公平の根本的原因を理解し、データかモデルのどちらかに責任を帰すという一般的な二元論を問い直すこと。
• さまざまな種類のデータバイアスが機械学習アルゴリズムとどのように作用し合い、公平性-正確性のトレードオフを形作るかを調査すること。
• 公平性の結果がモデルの選択に依存するだけでなく、データバイアスの構造とサンプリングのばらつきにも依存することを示すこと。
• さまざまなバイアス条件下での公平性緩和技術の有効性を評価し、文脈に応じて成功または失敗する理由を明らかにすること。
• 現実の金融応用において、データバイアスの特徴付けとモデル挙動の分析を統合する包括的な公平性の視点を提唱すること。

提案手法

• グループサイズの不均衡、出現頻度の不均衡、特徴量の依存性バイアス、選択的ラベリングを含む、データバイアスの種類を分類する分類法を提唱する。
• 実世界の口座開設不正検出データに合成バイアスを注入し、異なるバイアス種別を反映する制御されたシナリオを再現する。
• LightGBM、ランダムフォレスト、MLP、ロジスティック回帰などの多様な機械学習モデルを、複数のランダムシードで実行し、サンプリングのばらつきに対する耐性を評価する。
• グローバルな偽陽性率（5%）を固定した状態で、グループごとの誤り率（FPR、FNR）と正確性を測定し、データセット間の比較を可能にする。
• 再重み付けなどの事前処理手法による公平性緩和を、さまざまなバイアス条件下で評価し、その有効性を検証する。
• 複数のデータシードにおける中央値、最小値、最大値のパフォーマンスを用いて、公平性-正確性のトレードオフを分析し、ばらつきの影響を捉える。

実験結果

リサーチクエスチョン

• RQ1 グループサイズの不均衡、出現頻度の差異、特徴量の依存性など、さまざまな種類のデータバイアスが、不正検出モデルにおける公平性-正確性のトレードオフにどのように影響するか。
• RQ2 同じ根本的なデータバイアス構造を有するにもかかわらず、サンプリングのばらつきが公平性の結果にどの程度影響を及けるか。
• RQ3 事前処理などの公平性緩和技術が、多様なデータバイアス条件下でどのように機能するか。また、どのような条件下で成功または失敗するか。
• RQ4 同じデータバイアス設定下で、さまざまな機械学習アルゴリズムは、公平性と正確性の面でどのように比較できるか。
• RQ5 公平性指標の選択（例：比 vs. 絶対差）が、特にグループの出現頻度の不均衡がある状況で、モデルの公平性の解釈に果たす役割は何か。

主な発見

• 公平性の結果は、異なるデータバイアス種別に対して安定しない。例えば、保護群がターゲットと直接関連している場合にはランダムフォレストが公平であったが、他の特徴量を通じて依存関係が導入された場合には著しく不公平になった。
• サンプリングのばらつきは公平性に顕著な影響を与える。同じ根本的バイアス構造を持つデータサンプルであっても、あるサンプルでは公平であるが、別のサンプルでは著しく不公平になる可能性があり、これは単一のサンプル評価に依存するリスクを示している。
• 事前処理による公平性緩和手法は、単純なバイアス条件（例：直接的な出現頻度の不均衡）ではグループごとの誤り率をバランスさせることができたが、特徴量の依存性や選択的ラベリングを含むより複雑な状況では失敗した。
• グループ出現頻度の不均衡下では、FPRとFNRの差が逆方向に動くという直感に反する挙動を示す。これは数学的に裏付けられており、公平性の比に依存するだけでは不十分であることを示唆している。
• 異なるモデルはバイアス種別に応じて異なる公平性-正確性のトレードオフを示す。例えば、H2.1ではロジスティック回帰がH3よりもよりバランスの取れたFPRを示しており、これはモデル固有のバイアス構造への感受性を示している。
• 本研究は、公平性が静的特性ではなく、モデルアーキテクチャ、データバイアス、データサンプリングの相互作用によって形作られる動的結果であることを明らかにした。これは、ばらつきに対する耐性を設計要件として組み込むことが不可欠であることを示している。