[論文レビュー] Fairness Assessment for Artificial Intelligence in Financial Industry

Yukun Zhang, Longsheng Zhou|arXiv (Cornell University)|Dec 16, 2019

Ethics and Social Impacts of AI参考文献 16被引用数 12

ひとこと要約

本論文は、金融分野におけるAIの定量的公平性評価フレームワークを提案し、不均衡データの取り扱いや信用カード延滞予測におけるバイアス低減に統計的手法を用いる。データのバランス調整がモデルのパフォーマンスを著しく向上させ、偽陰性率を低減することを示しており、リウェイティングなどのバイアス低減技術により、特に元のデータに隠れたバイアスを含む場合に不平等な結果を低減できることを明らかにした。

ABSTRACT

Artificial Intelligence (AI) is an important driving force for the development and transformation of the financial industry. However, with the fast-evolving AI technology and application, unintentional bias, insufficient model validation, immature contingency plan and other underestimated threats may expose the company to operational and reputational risks. In this paper, we focus on fairness evaluation, one of the key components of AI Governance, through a quantitative lens. Statistical methods are reviewed for imbalanced data treatment and bias mitigation. These methods and fairness evaluation metrics are then applied to a credit card default payment example.

研究の動機と目的

• 金融業界におけるAIアプリケーションの公平性課題、特にバイアスや不均衡なデータに関する課題に取り組む。
• データ不均衡の処理および信用延滞予測モデルにおけるバイアス低減に向けた統計的手法の有効性を評価する。
• 公平性指標がモデル開発をどのように導くか、および意図しない差別を低減する手助けになるかを示す。
• 金融機関におけるAIガバナンスにおける公平性評価の実務的フレームワークを提供する。

提案手法

• 本研究では、信用カード延滞予測における不均衡データセットのバランス化に、リウェイティングや合成データ生成といった統計的手法を適用する。
• 性別グループ間でのバイアスを定量化するために、統計的平等差、同等機会差、差別的影響といった公平性指標を用いる。
• 4つのケースからなる実験的設計により、データバランス化およびバイアス低減がモデルパフォーマンスと公平性に与える影響を評価する。
• モデルは実世界の信用カード延滞データセットを用いて学習・評価され、正解率、F1スコア、偽陰性率によってパフォーマンスを測定する。
• リウェイティングアルゴリズムは、サンプルの重みを調整してグループベースの差異を低減する前処理手法として適用される。
• ケース間の結果を比較することで、公平性およびモデル正答率に与えるデータバランス化とバイアス低減の影響を分離して分析する。

実験結果

リサーチクエスチョン

• RQ1 データの不均衡は、信用リスク予測モデルにおける公平性とモデルパフォーマンスにどのように影響するか？
• RQ2 リウェイティングのような前処理技術は、金融サービス分野のAIモデルにおける人種的バイアスをどの程度低減できるか？
• RQ3 データバランス化とバイアス低減のどちらが、モデルの公平性と正答率により大きな影響を及えるか？
• RQ4 統計的平等、同等機会といった異なる公平性指標は、性別に基づく融資意思決定におけるバイアスをどのように反映するか？
• RQ5 合成データ生成は、既存のバイアスを拡大する可能性があるか？その場合、どのようにしてこれを是正できるか？

主な発見

• 合成バランスデータに続いてリウェイティングを適用したCase 4では、最高のモデル正答率（0.83）と最低の偽陰性率（0.19）を達成し、延滞事例の検出性能が向上していることが示された。
• 男性と女性のグループ間の統計的平等差は、合成データでの0.3034からCase 4では0.1621に低下し、バイアスの顕著な低減が確認された。
• リウェイティングを適用してもバイアス低減の効果は限定的であった—統計的平等差は0.1621のまま維持されており、バイアス低減のみでは深く根付いたデータ不均衡を完全に是正できない可能性を示唆している。
• 操作済みデータケース（Case 5）では、男性の延滞事例を30％人工的に増加させた結果、統計的平等差は0.5614に上昇し、顕著なバイアスの存在が確認された。
• Case 5でバイアス低減を実施した後、統計的平等差は0.03178に低下し、リウェイティングが人工的に導入されたバイアスを効果的に低減できることを示した。
• 本研究では、バイアス低減よりもデータバランス化の影響がモデルパフォーマンスに強く及ぼされたことから、データ品質が公平性の基盤である可能性が示された。