[論文レビュー] FairCanary: Rapid Continuous Explainable Fairness

Avijit Ghosh, Aalok Shanbhag+1 more|arXiv (Cornell University)|Jun 13, 2021

Ethics and Social Impacts of AI参考文献 44被引用数 4

ひとこと要約

FairCanaryは、分位数ビニングを用いてサブグループ間の予測分布の乖離を定量化する、しきい値に依存しない公平性指標である分位数デモグラフィックドリフト（QDD）を導入した。既存のインスタンスレベルの説明（例：SHAP や LIME）を再利用することにより、迅速で継続的かつ説明可能な公平性監視を実現し、従来の手法が再計算を要するのに対し10倍の高速化を達成した。

ABSTRACT

Systems that offer continuous model monitoring have emerged in response to (1) well-documented failures of deployed Machine Learning (ML) and Artificial Intelligence (AI) models and (2) new regulatory requirements impacting these models. Existing monitoring systems continuously track the performance of deployed ML models and compute feature importance (a.k.a. explanations) for each prediction to help developers identify the root causes of emergent model performance problems. We present Quantile Demographic Drift (QDD), a novel model bias quantification metric that uses quantile binning to measure differences in the overall prediction distributions over subgroups. QDD is ideal for continuous monitoring scenarios, does not suffer from the statistical limitations of conventional threshold-based bias metrics, and does not require outcome labels (which may not be available at runtime). We incorporate QDD into a continuous model monitoring system, called FairCanary, that reuses existing explanations computed for each individual prediction to quickly compute explanations for the QDD bias metrics. This optimization makes FairCanary an order of magnitude faster than previous work that has tried to generate feature-level bias explanations.

研究の動機と目的

• 生産環境ではしばしば入手不可能な任意のしきい値や出力ラベルに依存する従来の公平性指標の限界を是正すること。
• 再トレーニングや説明の再計算を必要とせず、展開済みの機械学習モデルにおける公平性のドリフトを継続的に検出できる監視システムの構築。
• 公平性指標のための特徴量レベルの説明を提供し、バイアスの根本的要因をリアルタイムで特定可能なインサイトを提供すること。
• 導入後における公平性監視を義務付ける、新たなAIガバナンスフレームワークへの準拠を支援すること。
• 既存のモデル説明インfraを再利用することで、公平性監視の効率性とスケーラビリティを向上させること。

提案手法

• 固定しきい値に依存しない代わりに分位数ビニングを用いることで、サブグループ間の予測分布を比較する公平性指標「分位数デモグラフィックドリフト（QDD）」を導入。
• 分位数ベースのビニングを用いて累積予測分布の差を測定し、デモグラフィックパリティや等しい機会といったしきい値依存指標が抱える統計的限界を回避。
• 個々の予測に対して事前に計算済みのインスタンスレベルの説明（例：SHAP や LIME）を再利用することで、QDDの特徴量レベルの説明を効率的に導出。再計算の必要がなくなる。
• モデル入力、出力、公平性指標を時間経過とともに追跡する継続的監視パイプラインにQDDを統合。ドリフト検出のための設定可能なアラート機能を備える。
• モジュラーなアーキテクチャを採用し、既存のML監視スタックへの統合を可能にするとともに、ビン数やアラート感度の動的チューニングを可能に。
• 合成ケーススタディと実世界の例を用いて検証し、しきい値選択に対して頑健であり、公平性ドリフトの検出性能が向上することを示した。

実験結果

リサーチクエスチョン

• RQ1 任意の予測しきい値に依存せず、モデル行動における意味のある乖離を検出可能な公平性指標を設計できるか？
• RQ2 説明を再計算することなく、継続的監視環境において公平性指標の特徴量レベルの説明を効率的に計算できるか？
• RQ3 出力ラベルが入手不可な状況下で、QDDは従来の公平性指標よりも公平性ドリフトをどれほど効果的に検出できるか？
• RQ4 既存のインスタンスレベルの説明を再利用することで、公平性監視における計算オーバーヘッドを著しく低減できるか？
• RQ5 実世界の展開環境におけるさまざまなタイプのデータドリフト（例：徐々に進行するものや急激に発生するもの）に対して、QDDはどれほど公平性ドリフトを効果的に検出できるか？

主な発見

• QDDは、従来の指標（例：統計的パリティ差（SPD）や差別の的影響（DI））がしきい値の感度に起因してアラートを発動できない合成シナリオにおいても、公平性ドリフトを正常に検出できた。
• 2日間の合成ケーススタディにおいて、SPDは全テストしきい値で2日目にもバイアス検出に失敗した一方、DIは唯一1つのしきい値レベルでのみ検出に成功し、しきい値依存指標の脆さを示した。
• 従来の手法が再計算を要するのに対し、FairCanaryは公平性指標の特徴量レベルの説明を計算する際、10倍の高速化を達成した。
• 既存のインスタンスレベルの説明をQDDに再利用することで、最小限のパフォーマンスオーバーヘッドでリアルタイムかつスケーラブルな公平性監視が可能になった。
• 出力ラベルが欠落している状況でもQDDは頑健であるため、推論時におけるラベルの入手不可な生産環境に適している。
• 説明可能なバイアス検出により、開発者が展開済みモデルにおける公平性問題の根本的要因を特定するための行動可能なインサイトを提供した。