[論文レビュー] CertiFair: A Framework for Certified Global Fairness of Neural Networks

Haitham Khedr, Yasser Shoukry|arXiv (Cornell University)|May 20, 2022

Ethics and Social Impacts of AI被引用数 6

ひとこと要約

CertiFair は、類似入力ペア全体の公平性を検証するための製品ネットワークアプローチを用いて、ReLUニューラルネットワークにおける認証済みグローバル個別公平性の健全かつ完全な検証フレームワークを導入する。また、最小限の精度低下で最大96%のグローバル公平性向上を実現する公平性正則化訓練手法を提案し、実証的検証に依存せずに証明可能な公平性保証を可能にする。

ABSTRACT

We consider the problem of whether a Neural Network (NN) model satisfies global individual fairness. Individual Fairness suggests that similar individuals with respect to a certain task are to be treated similarly by the decision model. In this work, we have two main objectives. The first is to construct a verifier which checks whether the fairness property holds for a given NN in a classification task or provide a counterexample if it is violated, i.e., the model is fair if all similar individuals are classified the same, and unfair if a pair of similar individuals are classified differently. To that end, We construct a sound and complete verifier that verifies global individual fairness properties of ReLU NN classifiers using distance-based similarity metrics. The second objective of this paper is to provide a method for training provably fair NN classifiers from unfair (biased) data. We propose a fairness loss that can be used during training to enforce fair outcomes for similar individuals. We then provide provable bounds on the fairness of the resulting NN. We run experiments on commonly used fairness datasets that are publicly available and we show that global individual fairness can be improved by 96 % without significant drop in test accuracy.

研究の動機と目的

• 高利害な意思決定システムにおいて、特に証明可能なグローバル公平性保証の欠如に対処すること。
• 与えられた公平性指標に基づき、すべての類似入力ペアが同一に扱われるかどうかを検証する健全かつ完全な検証者を開発すること。
• トレーニングデータにバイアスが含まれる場合でも、類似する個人に対して公平性を強制するトレーニング手順を設計すること。
• データ分布の仮定やサンプリングに依存しない形式的証明書を提供すること。
• 局所的公平性検証の限界を克服し、入力ドメイン全体にわたるグローバル公平性へと拡張すること。

提案手法

• 入力ペア (x, x') を受け取り、それぞれの出力を独立に計算する製品ニューラルネットワークを構築し、すべての入力ペアにおける公平性の検証を可能にする。
• ハイパプロパティチェックにインspiredされた関係的検証技術を用いて、特徴ごとの距離 δi 以内のすべての入力が同一に分類されることを形式的に検証する。
• 公平性違反の上界に基づく公平性損失関数を定義し、トレーニング中に正則化子として機能させることで公平性を促進する。
• 凸緩和に基づく検証技術を活用し、より大きなネットワークに対しても健全性と完全性を保ちながらスケーラビリティを向上させる。
• 製品ネットワークと公平性正則化子を統合したトレーニングパイプラインを構築し、テスト精度を損なわせずに認証済み公平性を保証する。
• トレーニング後、検証者を適用してグローバル公平性を検証し、すべての類似入力が公平に扱われることを保証する。

実験結果

リサーチクエスチョン

• RQ1 形式的検証フレームワークは、ReLUニューラルネットワークにおけるグローバル個別公平性の健全かつ完全な認証を提供できるか？
• RQ2 トレーニング中にどのようにして公平性を強制することで、トレーニングデータにバイアスが含まれる場合でも証明可能な公平性を達成できるか？
• RQ3 実世界の公平性データセットにおいて、モデル精度を著しく低下させることなく、公平性をどの程度向上できるか？
• RQ4 局所的検証手法が見逃すグローバル公平性違反を、このフレームワークは検出できるか？
• RQ5 スケーラビリティと証明可能な保証の観点から、提案された公平性正則化子は、既存の公平性緩和手法と比べてどのように差をつけるか？

主な発見

• 提案された検証者は、公平性評価における偽陰性や偽陽性を一切発生させない、健全かつ完全なグローバル個別公平性の検証を達成する。
• 公平性正則化トレーニング手順により、標準的な公平性データセットでグローバル公平性が最大96%向上したが、高いテスト精度を維持した。
• 公平性正則化パラメータが 5×10⁻² の場合、テストデータセットで100%の認証済みグローバル公平性を達成した。
• 局所的公平性検証手法に比べ、個々の入力の周囲にとどまらず、入力ドメイン全体にわたる公平性違反を捉えることができた。
• 公平性を強く強制しても高いテスト精度（例：λf = 1×10⁻⁴ 時に 74.33%）を維持しており、最小限の性能コストであることが示された。
• 製品ネットワークと凸緩和の統合により、大規模なReLUネットワークにおけるスケーラブルかつ高精度な公平性検証が可能になった。